Мужчина ждет

Прошу без оскорблений, только переживших подобное ответить.
Есть коллега мужчина, в разводе года три. Инициатором была жена, для мужчины я так поняла это была большая травма и он долго был в состоянии депресии.
Есть двое детей, о них он продолжает заботится, любит их. Человек скромный о себе говорит мало, свою сттуацию не афиширует.
Я замужем, мужу верна. Была у нас очень сложная ситуация в жизни, не буду тут рассказывать. Тогда муж проявил себя не лучшим образом, в общем мне казалось , что предал нас (ее измена). Мужчина этот нам и раньше было приятно общаться (но мы нечасто общались) стал очень аккуратно и деликатно проявлять внимание ко мне. Я даже не заметила сначала. Длилось это долго. Потом я на фоне своей обостренной обиды на мужа , вообще всей ситуации захотела ничего плохого не делая просто отвлечься, пофлиртовать, иначе боялась уйти в депрессию.
И как то незаметно влюбилась. В разговоре с мужчиной показала ревность и он понял , что небезразличен. Далее он занял позицию такую или мы идем вместе дальше или не общаемся вовсе.
У меня начались метания. Я не хочу изменять и его хочу. Я не хочу рушить семью и не могу глаза себе выколоть и не сиотреть на него.
Если мужчина чувствует , что я не хочу продолжать он сразу отступает и замолкает, пара дней и я этого не выдерживаю и первая начинаю с ним общаться. И так по кругу. Что мне делать я запуталась.
Его не могу потерять и муж дорог. Да и на несчастье счастья не построишь.