Дети от предыдущего брака

Ситуаия такая. Живем гражданским браком. У мужичны есть ребенок от первого брака. По началу я пыталась, чтобы ребенок жил с нами ( у меня детей не было ). У меня имеется своя квартира в которой мы проживаем. Мужчина своими действиями и бездействиям по отношению к своему ребенку показал, что не особо горит желанием взять ребенка к себе. Исправно платит алименты бывшей жене, но ребенок по факту на 80% воспитывается бабушкой ( с его стороны ) и проживает у нее. Бывшая жена яростно настраивала их общего ребенка против меня. Взаимодействия с его ребенком стали очень тяжелые и приводили к массовым конфликтам и разладу отношений с мужчиной. Недавно у нас появился общий ребенок и вот после этого ребенок от предыдущего брака начал проситься к нам. Пока ребенок не стал проситься и речи не шло о совместном проживании. Мы в отношениях уже 6 лет и все 6 лет жили без ребенка от первого брака, а если ребенок и приходил в гости = конфликт. После этого отец сам ездил к своему ребенку и если нужно было остаться на несколько дней с ребенком я никогда не припятсвовала. Теперь мужчина поднимает вопрос о совместном проживании всех детей вместе. Как я уже писала квартира моя и мужчина платит алименты бывшей жене, которая не участвует в жизни ребенка. Не знаю, что делать потому что изначально предлагала жить вместе ( ребенок был маленький) и от этого предложения отказались, а сейчас уже когда переходный возраст и к слову ничего поучительного ей сказать нельзя ( не имею права ) и наличие маленького ребенка + у нее есть биологическая мать, но к ней ребенок не хочет. Как бы вы поступили?