Вопрос к мужчинам, у кого были любовницы. И к женщинам, у кого были любовники

Хочу спросить мнения со стороны, чтобы почесать и успокоить свое эго.
Мне 36, замужем давно. На работе завязался с коллегой роман (давно женат, ему 43 года). Полгода период был симпатий, а потом такая влюбленность накатила, год спали с ним, тяга сумасшедшая. Ровно через год регулярной интимной жизни, сразу как съездил с женой в отпуск, секс у нас прекратился, приехал как обухом по голове ударенный. Я пыталась спросить чего такое, но ответа не получила. Перестала спрашивать. Общались мы замечательно потом, чаи-кофеи вместе, много общались на любые темы, видно было, что симпатия не прошла еще, каждый раз пытался коснуться, обнять и тд., но секса не было уже 2 года получается.
за это время у нас были 2 общие командировки (большим составом), не уединялись, тк крайне рискованно, коллектив слаженный, легко спалиться, но я знаю что с какой-то мадамой в обе командировки он время проводил.
Вот в последнюю, месяц назад, черт меня дернул по пьяни спросить почему же так вышло, что все закончилось в плане секса (заревновала что ли когда поняла, что она пропадает с кем-то). Я предположила, что понесло нас далеко и мы могли наделать глупостей (ни он, ни я разводиться не хотим). Он сказал, что да, я права, все закрутилось так надолго и он побоялся, что выйдет из-под контроля всё. При этом сам сказал, что ему "проще" развлечься (секс с ней отрицает)))) вот так в командировке, уже второй, с одной и той же женщиной, она в другой стране, соответственно, связь они и поддерживают, но виделись вот по неск. раз в каждой командировке и конечно спали, хоть мне сказал, что нет).
Так вот вопрос: мужчины правда бояться привязаться к одной и той же "второй" женщине? я с него ничего не требовала, общение каждодневное в рамках работы,а секс был украдкой, шифровались мы знатно.
Мое женское самолюбие, конечно, задело. Я бы продолжала всё как было тогда, тк в сексе мы с ним полное совпадение. А тут он выбрал другую,пусть и разок-другой в год. Головой понимаю, что отношений бы у нас не вышло, но на душе как-то обидно, что ли.