Мужчина водит за нос?

Всем доброго дня! Посоветуйте, дорогие девочки, отрезвите или поделитесь опытом! Мы с мужчиной вместе уже 3 года, всякое было и хорошее и плохое, и расставания и вновь схождения. Сейчас уже полгода как тишь и спокойствие,он отстроил квартиру себе, я периодически у него, вместе убираемся, вместе готовим. Вчера за ужином я ему задала вопрос"Что дальше?", сказала, что хочу жить вместе и строить семью, раз у нас все теперь так дружно и без скандалов. На что мне был ответ "Я не смогу с тобой жить, на это есть много причин" Одной из этих причин озвучил то, что у меня был молодой человек, когда мы в очередной раз расставались(Расставание было из-за его измен). То есть, проводить время вместе, спать, ему это не мешает,а жить он с этим не сможет. Я не понимаю, запуталась. Бросать, не тратить время или что?Я боюсь, что просто теряю время, что найдет он себе девочку молодую и все, пойду я лесом. Или он просто долго раскачивается. К слову, все знают о том, что мы вместе, родители-друзья и тд. Тем не менее он говорит, что мы не встречаемся. Когда задаю вопрос, "а как это назвать?", отмалчивается. Заботится, деньги тратит, подарки делает, но дальше НИКАК. Возможно, Вы озвучите то, в чем я себе сама боюсь признаться.