О серьёзных отношениях

Доброго всем времени суток. У меня такая ситуация. Встречаюсь с мужчиной 5 лет. Ему 40, мне 30. У него был брак, развелись по её инициативе после 7 лет совместной жизни. Через 2 года мы начали встречаться. Он живёт с родителями, бываю у него дома. Хочу давно семью и детей. Он разговоры на эту тему пресекает, говорит, что не любит выяснять отношения. Уходила от него несколько раз, потом не выдерживала и сама возвращалась. Сейчас решила уйти окончательно. Но ужасно тяжело, т.к. он мой первый мужчина и всё-таки 5 лет вместе. Подскажите, правильное ли решение я приняла. Спасибо