Отношения детных с бездетными обречены?

Полтора года назад познакомились, почти сразу начали жить вместе, чувства с головой накрыли. Я знала, что у него ребёнок от прошлого брака и он активно участвует в воспитании. Мама девочки часто ездит в командировки, иногда две-три недели и ребёнок в это время с отцом. При этом о моем существовании не знает ни девочка ни БЖ - он боится травмировать ребёнка. Я по началу нормально с пониманием относилась, но сейчас меня начала раздражать эта ситуация. Постоянно говорит о ребенке-какая она умница, про ее успехи, но по телефону с ней уходит говорить в другую комнату. Зачем тогда мне информация об его ребёнке, если он меня изолировал? Я раньше интересовалась ею и хотела познакомиться, а теперь уже все равно. Чувствую себя на вторых ролях.
Кроме этого мне за 30 и уже пора задуматься о своих детях, но он не спешит, постоянно отговорки. Но даже если решится, не хочу чтоб общего ребенка любил меньше из-за чувства вины к старшей, что растет без отца. Девочка может начать ревновать ко мне или малышу, это скажется на наших отношениях.
Последнее время очень подавлена, думаю только об этом и что мне делать. Люблю его и он меня, но не вижу светлого будущего в этой ситуации. Уходить? #отношения