любовь к женатому

В ситуация такая замужем 10 лет мужа глубоко уважаю ценю все что он делает для семьи знаю что любит и не изменяет , а вот я оказалась с червичинкой . Коллега на работе женат мне 35 ему 51 знакомы давно тоже 10 лет но сошлись на почве взаимопонимания и дружбы лет 5-6 назад , даже в декрете была созванивались.Вышла из декрета и понеслось в общем он всячески стал давать мне понять что я ему интересна не только как друг, намекать что не против сексуальной связи.Я сначала отнекивалась но он харизматичен умен с чувством юмора хотя внешне не мой типаж вообще но с недавних пор я поняла что меня тянет к нему физически,слава Богу я думаю что это не любовь а просто желание,он все это чувствует и всячески подливает масла в костер. В общем плотно схожу с ума уже пол года,недавно призналась ему в надежде на то что он хорошо ко мне относится и прекратит всячески меня доставать но он признался что с его стороны это тоже не просто так и если бы мы вступили с ним в интимные отношения то скорее всего это длилось бы годами. Я не претендую на его семью и свою разрушать не хочу ,и из-за уважения к мужу не могу себе допустить секс с ним но если честно боюсь что мне очень понравится с ним секс и что тогда я буду делать зная себя я не смогу отказать себе потом в удовольствии а это уже опасно для моей семьи.В общем подскажите как это можно закончить,даже сейчас пишу потому что все мысли о нем .