Люблю мужчину с четырьмя детьми

Здравствуйте. Прошу совета. Мне 24 года, я в отношениях с мужчиной старше меня на 9 лет. Встречаемся недавно. Он был женат, от первого брака у него четверо детей. Дети и бывшая живут в другом городе. В отношениях все хорошо, он меня поддерживает, я в свою очередь его, понимаем друг друга, общие интересы есть. С месяц назад я начала жить у него, приезжаю к родителям по необходимости раз в неделю. Когда начинали встречаться была симпатия, подкупило его отношение ко мне- забота, интерес к происходящему в моей жизни. Так и чувства проснулись- переживаю за него, стараюсь сделать ему приятное, позаботиться и т.д. Но собственно сам вопрос вот в чем. Как уложить у себя в голове эту мысль о его семье? Как ее принять? Я понимаю, что если ты полюбил человека, то его надо принимать со всеми плюсами и минусами и прошлым в том числе. Но очень тревожит и задевает, что он часто упоминает о бывшей «жена то, жена сё», ему об этом я говорила, на то получала ответ что он ее давно не любит, развёлся потому что она изменяла и это ничего не значит. Но все равно неприятно. Возможно, я ещё не повзрослела, но тревожит меня то, что к примеру рождение ребёнка для него уже не будет таким важным и значимым событием, как для меня. Для меня это будет долгожданный первенец, для него- пятый ребёнок. Вот засела в голове мысль, что это для него не будет ничем необычным. Он часто общается с женой, при чем общение очень милое и с нежностями. Я осознаю, что он будет да и должен общаться и видеться с детками, понимаю это и ничего не имею против. Но сюсюканье с бывшей женой для меня непонятно. Вот сегодня поругались на этой почве, попросил пожить у мамы пару дней, чтобы «все обдумать». Очень больно и обидно, не знаю, как правильно себя вести с ним сейчас. Я не очень опытна к отношениях. Помогите советом, пожалуйста, как быть?