Замужем за мужчиной с детьми

Подскажите, как мне быть?! Очень терзаю себя. Встретила мужчину 3 года назад, у него на попечении 2 детей от первого брака, маму их он ограничил в родительских правах. Вышла за него замуж, вместе не живет, я в своей квартире со своей дочерью, оН со своими детьми у себя живет. Я с детьми его я не нашла общий язык, если честно и нет желания. Дочери его 18 лет, а сыну 14 лет. Муж дает мне деньги в исключительных случаях, я сама работаю и себя с дочкой обеспечиваю. Сейчас я беременная, планирую жить у себя, не хочу я жить с его детьми, мне не комфортно в их доме. Я может ревную его к детям, он им ни в чем не отказывает, хотя денег у него не хватает. Он сильно обижается, потому, что я не хочу с ним жить. Мне комфортно у себя дома со своей дочерью. Скажите как быть дальше ?! Меня его дети очень напрягают, не хочу нервничать и срываться на муже