Мой муж хочет, чтобы у нас с его детьми от первого брака была семья

Мой брак трещит по швам. У мужа двое детей от первого брака, у меня один ребенок, и есть у нас еще общий ребенок. Он еще совсем маленький, ему годик. Муж считает, что я обязана общаться с его детьми. Я говорю, что для меня это все сложно, просила видеться на нейтральной территории, но муж не согласен, как возникает вопрос встреч с его детьми – у нас опять ссора. Такая же ситуация и с его мамой, с которой мы в открытом конфликте. Он хочет все равно продавить меня, заставляет наладить отношения.
Со свекровью первое время было все хорошо, мы даже пытались сначала жить у нее, отдельного лично нашего житья не было. Потом я поняла, что человек говорит одно, а делает другое. Сначала мы вместе занимались бытом, помогали друг другу, все было замечательно. Но постепенно она все свалила на меня. Я уже должна была заниматься не только своей семьей, но и его детьми, а также его племянниками постоянно. Почти каждый месяц по 3 недели у свекрови живет сестра мужа с тремя детьми, которая ничего не делает в быту, но любит предъявлять претензии и устраивать постоянно скандалы. В общем, из-за всей этой обстановки мы оттуда уехали и стали жить у меня.
Бывшая жена вполне адекватный человек. У нее новая семья с ребенком, к нам не лезет. Муж со своей матерью недавно решили в обход меня отсудить детей мужа у бывшей жены. Но ничего не вышло. Когда я это узнала, была просто в ужасе. Сейчас муж постоянно таскает детей к своей матери, но та ими не занимается. В воспитании общего ребенка он тоже участвует только на словах.
До этого мы жили вместе около 3 лет, и все было нормально. Мы строим с ним общий дом, и я, и он вложили туда немало денег. Но после того как мы расписались, мужа как будто подменили. Такое впечатление, что он считает меня своей собственностью. Думает, что с маленьким ребенком я никуда не денусь. А теперь он хочет сколотить общую семью вместе с его детьми. Чуть ли не мною пытается им мать заменить. Я, честное слово, пыталась нормально с ними общаться, но они очень сложные. Старший убегал из дома, какая-то неприятная ситуация с полицией была. Даже бывшая жена моего мужа звонила ему и просила с детьми поговорить на тему их поведения. И вот этих непростых чужих детей муж хочет повесить на меня. А оно мне нужно?
Я хочу подать на развод, но муж против. Дом начали строить до брака, по документам он оформлен в равных долях. Мой сын видится с отцом на нейтральной территории - прогулки развлекательные мероприятия, бывший муж водит его во всевозможные кружки. Я мужа своим ребенком не напрягаю, сразу поняла, что он не будет заниматься его воспитанием, особой любви мужа к моему сыну не увидела. Да я и не настаивала. Он не родной ему отец, это нормально. Так вот, я не хочу, чтобы и меня доставали с неродными для меня детьми. Посоветуйте, что делать? Ставить вопрос ребром?