Как вернуть любовника?

Год мы встречались с любовником, я замужем, он женат, двое детей. Все было хорошо. Мне 26, ему 42. Встречались когда ему было удобно, в моей жизни не участвовал, между встречами почти не общались, вообщем как это у многих бывает - без обязательств.
И вот, спустя год, ОБ ЭТОМ УЗНАЕТ МОЙ МУЖ. Муж рассказал всё жене любовника.
И когда все нормализовалось, у нас состоялся разговор с любовником, в ходе которого он сказал что нам вместе было очень хорошо, но предложил взять паузу в наших отношениях, я когда я решу свои вопросы семейные, то там посмотрим что между нами будет, но так как было - быть не может.
Я боюсь, что со стороны любовника это такой способ слиться от меня. А я как влюблённая дура, унижалась, извининялась, признавалась ему в любви. Прошёл месяц, ничего не сдвинулось с мёртвой точки. За всё время от него было 3 сообщения, это комплимент, и интересовался что случилось, когда увидел меня в больнице, раз он проехал мимо меня на остановке, написал сообщение что спешит, а так бы подвез с удовольствием, после этого, в другие такие ситуации он теперь просто пооезжает мимо, каждый день (т.к.рабоатемв одной структуре)...
Я боюсь, что это конец нашей с ним связи, подскажите, как быть? Что делать? И надо ли?