Возможно ли построить семью с МЧ, у которого есть дети от первого брака?

Добрый день всем. Мне 26 лет, в отношениях с мужчиной 35 лет
Он год назад развелся, жена изменила и ушла к другому. У них общие дети. И много времени проводит с детьми, везде возит и много вкладывается. Отец замечательный. Детей любит. Бывшая иногда начала попытки вернуть его, заводит такие темы. Мы договорилились, что он со всем будет делиться со мной.
Мы с ним познакомились уже когда он разводился и жил отдельно.
Про развод и детей сказал сразу, я это приняла и смотрела именно на то какой человек, какие поступки делает. Хорошо ухаживает, заботится, во всем помогает.
С детьми так же нас познакомил и я с ними поладила, они меня полюбили, я и сама в целом люблю детей.
Но меня пугают мои страхи и сомнения. Ощущение будто два человека разошлись из-за такой ошибки, разрушили семью и пытаются отвлечься на других. Я не чувствую себя важной и значимой. Будто если бы не я, то у него все было бы проще и он просто простил жену и вернулся к детям. В соц сетях у нее совместные фото с семейных фотосессий и мне от этого грустно, что такая семья распалась..И из-за этого не могу открыть к нему полноценно свое сердце, думая о том что они все равно любят друг друга. Хотя он говорит, что я ему важна и планирует со мной и жить и детей заводить. Не знаю в общем…