Сложная ситуация с любимым мужчиной

Здравствуйте! Встречаюсь с мужчиной больше полгода. Живём вместе несколько месяцев на моей территории. Также с нами живёт мой ребенок от первого брака. Ситуация такая, в его квартире живёт бывшая жена и 2-е детей. Ездит он туда каждый день после своей работы, забирает из сада детей и ждет, когда та придет с работы. Ко мне приезжает уже поздно. Выходные он проводил,как правило, со мной и моим ребёнком. Но в последнее время он постоянно поникший ходит..говорит, что переживает за детей..что мать у них плохая, не занимается ими и т.д. Мужчина мой через чур сильно привязан к своим детям и меня это сильно раздражает. Думаю, что из-за этих его переживаний он готов со мной расстаться, хоть и говорит, что любит меня. Что мне делать и как себя вести-я не знаю. Очень сильно его люблю и жизни своей без него не представляю. Также финансовая сторона у нас сейчас очень плохая.. у него кредиты, алменты, а у меня на работе тоже всё печально. И сменить работу не могу, т.к не найти подходящий график. Он помогать мне с моим ребенком видимо не готов из-за своих детей. Вот такая Санта-Барбара. Может кто чего посоветует со стороны? Спасибо.