Как его отпустить?

Я знаю, что будет много осуждения, но надеюсь будут и дельные советы.
Мы с ним познакомились на работе. Сразу друг другу понравилось и нам было так хорошо вместе. Но у него была девушка… С ней они очень много ссорились, она даже его вещи выкидывала в окно, в квартиру не пускала, так как обижалась, что он «заработался». Даже на работе он очень много отвлекался на телефон из-за ее сообщений из разряда «Ты что меня не любишь?»
В какой-то момент я поймала на мысли, что люблю его. Через какое-то время начала замечать знаки внимания с его стороны и получилось так, что мы могли просто гулять, проводить вечера и наслаждаться досугом друг с другом. Все это дошло до того, что мы переспали.
Честно, не могу сказать о чем думала в тот момент. Я уже столько лет одна и тут появился человек, который мне дарит столько заботы, внимания и поддержки…
Я себя не оправдываю, но и правда тяжело было жить с мыслью о том, что он изменил со мной не смотря на то, что их отношения итак были на грани разрыва…
Он говорил, что есть чувства ко мне, но он неуверен во всем… С девушкой они жили как соседи еще пол года и расстались. 
Ему было тяжело, так как очень давило то, что он изменил и то, что впутал меня в это. Я пыталась его поддерживать, но мне тоже от этого плохо.
Сейчас и я, и он живем одни.
Когда мы видимся, нам так спокойно и хорошо. Все невзгоды и проблемы не кажутся такими трудными. 
Без него мне плохо, но мне тяжело от того, что было… Хотя уже прошло больше года…
Его бывшая до сих пор пытается его вернуть и я чувствую глубокую вину перед ней… Он говорит, что с ней вместе больше быть не хочет, так как нет ни любви, ни желания жить в бесконечных ссорах. Но каждый раз отвечает ей на сообщения говоря, что очень виноват и не может просто взять и разорвать с ней связь. Все таки вместе 5 лет были…
Что бы вы делали на моем месте? Постарались бы забыть человека или забили бы на все и были рядом?