Конфликтуем с мужем из-за того, что я против общения наших детей и его детей из прошлой семьи

Девочки, может быть и мужчины , помогите , пожалуйста, советом или опытом . Ситуация такая , начались отношения с мужчиной ( у него на тот момент был один ребёнок сын) , не буду скрывать , были любовника 1,5 года . Все эти сказки по типу, вместе не спим и т.д , но суть не в этом , пока он мне в любви клялся и в принципе уже жил со мной, не скрывая перед той женщиной , что у него новые отношения. Он мне говорит, что его та жена беременна …. Мол уже 5 месяцев , она скрывала . Я в шоке была… ну да ладно, отношения мы наши продолжили из семьи он ушел и мы стали полноценно жить вместе . Сделал предложение , поженились . Сейчас мы 9 лет вместе , дочке 7 лет и сыну 2 года . Отношения хорошие , крепкие . Друг друга любим . Конечно, жалею, что отношения так начались … была молодая, Но вопрос в другом , у нас часто конфликт с мужем из-за того, что я против общения наших детей и его детей из прошлой семьи . Потому что ребёнок, который был рождении вторым , когда мы уже были в отношениях, он как триггер для меня, постоянно окунаюсь в эти чувства и очень больно . Сам он видеться, когда захочет . Я лишь попросила не впутывать нас туда с детьми . Ему это не нравится. Вот хочу послушать как у вас это ? Может у кого-то подобная ситуация или как бы вы поступили в этой ситуации