Зовет жить с бывшей женой

С мужем встретились в зрелом возрасте,это его второй брак.У меня своя квартира.Его сын от первого брака живет в его квартире,с его матерью и бывшей женой.Квартира в центре- хорошие врачи,школы и прочее.БЖ прописана там же,её отчий дом за 700 км,в деревне- она точно туда никогда не вернётся.Сейчас,у неё разные мужчины,у которых она периодически живёт,сын всегда остаётся с бабушкой.Нечего менять или продавать они не хотят.Я понимаю ситуацию и не настаиваю.Но так же,понимаю,что она вернётся и деться ей не куда.При этом,муж зовёт меня жить у него, т е с его сыном,матерью и "периодически возвращающийся бывшей". Возможно,муж пытается " закрыть ей путь назад" своим предложением или "подставить меня", а может,не понимает реального положения вещей.Если кто-то сталкивался с подобной ситуацией- как правильно объяснить ему свою позицию не обидев никого при этом? Я не готова жить с чужими людьми!