Посоветуйте, как не разрушить семью???

Тема вновь, о ребенке от первого брака!!! Да, знаю, подобные, многочисленные темы, тысячу раз разжеваны… Знаю, что не нужно было выходить замуж за «детного» (в следующей жизни возьму это на вооружение), но сейчас уже поздно, мы давно женаты, я беременна долгожданным ребенком, назад дороги нет!!!
Дело в том, что моему мужу (или БЖ), в голову пришла мысль, что с пятницы по понедельник их ребенок должен проводить у нас дома, а я не хочу! Я не хочу быть мачехой, ни хорошей, ни плохой!!! У нас были попытки так жить - не получилось, чуть не развелись на этой почве, все ссоры и скандалы в нашей семье были только на тему его сына и БЖ. Муж вроде понял, перестал таскать его к нам, водил по выставкам, паркам, встречался в кафе и т. д., но сейчас опять зарядил пластинку, что сын растет как тюфяк, что ему нужно отцовское воспитание (ага, так я и поверила, сын из него веревки вьет, и сам его воспитывает), и что я должна все понимать, ведь он все же отец!!!
Я пытаюсь объяснить мужу, что ничего хорошего из этого не выйдет, и никому от этого лучше не станет, только снова приведет к скандалам, а он стоит на своем «Это же мой сын». А тем более сейчас, когда мне нельзя переживать и нервничать! Девушки, Женщины, те, кто прошли через подобную ситуацию, помогите убедить моего мужа в неправильности его задумок, ведь я не запрещаю им встречаться/общаться, да сколько угодно!!! Я только прошу его не вмешивать меня в это!