Связь со взрослым мужчиной... Нужна ли она молодой девушке?

Я встречаюсь со взрослым мужчиной, у нас разница 20 лет (мне – 30, ему – 50). Всего мы встречаемся около 1,5 лет. Сначала встречались около полугода, потом расстались по его инициативе, через 9 месяцев снова стали встречаться (опять же по его инициативе). Он уходил из дома (жена, младший сын (15 лет), старшая дочь живет за границей), потом возвращался, теперь снова ушел и разводится.
Про первую часть наших отношений сказать особо нечего, всё как у всех – любовь, страсть, свидания, совместный отдых… Дело в том, что я считаю, что разрыв первой части наших отношений был немужским с его стороны, он ничего не объяснил, приехал, собрал свои вещи и сказал, что возвращается домой, что любит свою семью и т. д. и т.п. Потом он мне сказал, что у него были проблемы со здоровьем, и он мне не мог ничего сказать (считаю, что это полный бред и неправда).
И вот вроде бы всё у нас хорошо, мы вместе, планируем будущее (количество детей, делаем вместе ремонт новой квартиры, как он говорит для нас с будущими детьми). Мы с ним из одного города, но так сложилось, что я сейчас живу и работаю в Москве. Он приезжает на выходные, иногда я езжу (у меня в родном городе мама живет). Он говорит о том, что как только мы заведем детей, я вернусь в свой родной город; при этом хочу отметить, что я не чувствую в нем уверенность, возможно, из-за той первой ситуации, когда он просто меня оставил как ненужного котенка, с которым поиграли и который просто надоел.
И есть одно но…