Муж укоряет в отсутствии общих детей

Ситуация такая - есть я и муж, у обоих второй брак. Мне 42, муж на 13 лет старше. У мужа два сына от первого брака - старшему 31, младшему 29. Моему сыну от первого брака 19. С первым мужем разошлись сразу после рождения сына, со вторым стала встречаться через год после развода. Почти сразу стали жить гражданским браком, а спустя еще 6 лет официально зарегистрировали отношения. По факту растил и воспитывал моего сына второй муж. У меня хорошие отношения с детьми мужа, у мужа хорошие отношения с моим сыном. Когда мне было лет 27-28, очень хотелось родить общего ребенка. Останавливало несколько причин. Во-первых, материальная. Мой сын еще совсем малой был, сыновья мужа тоже еще школьники. Они хоть и жили отдельно, но помимо официальных алиментов мы и так им помогали. Во-вторых, боялась, что после рождения общего ребенка изменится отношение мужа к моему сыну. Сейчас все дети выросли, даже мой учится в соседнем городе. Живем с мужем вдвоем. Отношения хорошие во всех смыслах. Но примерно с полгода назад случайно зашла речь о дочках. Муж сказал, что всегда хотел дочку, а я ему не родила. Вроде бы шуткой сказал, но все равно с какой-то обидой. И теперь примерно раз в месяц возвращается к этому разговору. Чисто технически у нас есть возможность родить. С сексом проблем нет, со здоровьем (ттт) тоже. Материально обеспечены. Но во-первых, мне 42, мужу 55. Во-вторых, если решиться на этот шаг, то разница со старшими детьми будет очень большая, по факту это будут чужие люди. В-третьих, я не хочу менять свою жизнь. Меня все устраивает - работа, спокойная жизнь вдвоем, возможность в любой момент уехать на отдых. В общем, я точно не хочу еще одного ребенка. Муж вроде бы тоже все понимает и соглашается, что еще один ребенок нам не нужен. Но все равно время от времени ноет о том, как ему хотелось бы дочку. И при этом пытается сделать из меня "крайнюю", что мол это я не хотела рожать. Вот что с этим делать? Как отучить его от этого? В остальном, у нас отличные отношения.