Бывший как камень предкновения

Помогите советом, я запуталась окончательно. Ситуация следующая, много лет назад познакомилась с будущим мужем и переехала к нему в город. Начали жить вместе и сразу забеременела. Сразу поняла, что съёмная квартира не для меня и при помощи своих родственников купила квартиру и мы стали жить у меня. После рождения ребёнка поняла что муж мне совсем чужой, он идеальный отец, но как муж совершенно мне неподходящий. Прошло несколько лет и я решилась на развод, проще говоря выгнала его и подала на развод. Позже познакомилась с мужчиной, так как знаю его всего несколько месяцев то не решаюсь с ребёнком к нему перебратся к томуже у него квартира намного меньше моей. Остро встала проблема бывшего, т.к он без работы и без места жительства то с ребёнком сидит он и после работы из садика забирает тоже он. Ключи от моей квартиры у него есть, время с ребёнком проводит у меня. Естественно так как бывшему некуда идти, то порой он ночует у меня и я его кормлю. Новый мужчина замкнулся из за этого, говорит, что это положение дел не совсем нормальное, т.к в отношениях есть посредник. Вроде не муж, но он постоянно дома и встречатся со мной зная что с ребёнком сидит бывший, словно кощунство. Кроме бывшего у меня в городе никакой родни нет и денег лишних на нянечку также. Как из этой ситуации выбратся?