Муж, жена....и бывшая жена

Нам с мужем по 28 лет, женаты 3 года. История такая. Познакомились 10 лет назад, было нам по 18 лет, встречались, испытали обоюдно первую любовь. Мечтали о свадьбе в будущем...
Но через год отношений (вместе не жили) расстались по моей инициативе.Долго ходил мириться. Даже моих родителей просил помочь помириться.
Однажды пришел, сказал, что это последний раз. И если откажу - будет строить свою жизнь. Я отказала. Еще через полгода он женился. Звонил приглашал на свадьбу, я не пошла, конечно же. Потом звонил и приезжал уже будучи женатым. И даже предлагал стать любовницей. Отказалась.
Общались регулярно. Как добрые друзья. Всегда первый звонил он, вспоминал, поздравлял, приглашал к встрече. Брак его продлился недолго, всего год. за этот год успели родить ребенка и развестись сразу после рождения.
Он менял женщин, а со мной виделся периодически, но как друг, ближе я не соглашалась.
И однажды совпало, что оба свободны.по стечению обстоятельств он позвонил и попросил встретиться.
Гуляли всю ночь. Вспоминали 18 лет, свою любовь. Решили начать сначала.
Встречались, съехались. И стало ясно то, чего я никак не ожидала. О бывшей жене он говорил всегда так, будто был обижен, что она ушла от него (а именно она ушла). Часто ее вспоминал и приплетал в быту. Ощущение создавалось, что он жалеет о разводе, и будь его воля, был бы с ней, а не со мной.Я думала, что оно и понятно, ведь это было самое серьезное, что было в его жизни. При этом в нашей жизни говорил, что любит, заботился, старался. Мы поженились. Но это не прошло. О ней все так же говорит часто и с сожалением. Это крайне неприятно. Именно ощущение,что надо жить как то вот и живет, а хотел бы быть с ней, но не может, так как она не ждет.
Я думаю, это задетое самолюбие, или такая великая любовь?