Как жить бездетной женщине с мужчиной, у которого есть дети от прошлых браков?

Мне 39, муж немного постарше. У него дети от первого брака. Я люблю детей, но оказалось, что не получается забеременеть. Наверное, уже поздно, возраст. Когда выходила замуж, думала, ну вот и мне повезло может немного в жизни, Камаз с пряниками опрокинулся.
Первый муж детей не хотел или не мог иметь, а я любила мужа и не настаивала. Теперь мне очень тяжело. Чувствую себя ущербной, особенно по сравнению с бывшей женой второго мужа, у которой с этим никаких проблем не было. Он говорит, что любит меня просто так, но часто говорит, что те, у кого нет детей, несчастные, семья без детей неполноценная, как хорошо было бы, если бы у нас был общий ребенок, ты только представь себя с колясочкой и т.д.
А мне выть хочется. Я чувствую себя ничтожеством, к своим родителям он меня не берет, ездит туда часто один или с детьми, его брат тоже с женой и детьми приезжает, а мне что там делать-то вроде - детей нет. Больше не могу, хочу развестись, хоть и люблю его.