Как понять мужчину?

Пять лет работаю в фирме, начальник молодой семейный. Он мне очень нравится, влюбилась я в него в общем. За эти пять лет много чего было. Он всегда говорит, что все это (в смысле секс) нужно воспринимать как спорт. С его женой я знакома. Понимаю, что я поступаю плохо. И ничего не могу с собой поделать. Не могу ему отказать и послать куда подальше. Чуть меньше года назад на корпоративе у нас состоялся разговор, я до него донесла, что как к спорту не могу к этому относиться. После этого я решила для себя, что нужно все это прекращать. У него семья. А я одна. Старалась устроить свою жизнь, без него. Но ничего не получилось, тягу к нему не могу перебить. Одно время думала, что нужно уволиться. Не видеть его. Но мне моя работа очень нравится, устраивает и зарплата. И вот последнее неофициальное сборище и опять все то же самое. Только на этот раз он и домой ко мне поехал (чего раньше никогда не делал). На прощание как обычно "Это только спорт". Жена его, к слову сказать, когда я познакомилась с ней, после родов была немного полновата, после вторых родов она еще сильнее поправилась. Я думала, что ему хочется нормального женского тела (я, конечно, в модели не тяну, но с фигурой все в норме). Где-то с полгода назад его жена привела себя в порядок, фигура стала, наверно, лучше моей. Я думала, что уж теперь-то он в мою сторону и не посмотрит, но смотрит. Правда, при последней встрече, сказал, что дома не все в порядке, даже собирался уходить из дома, мол, иногда они с женой как чужие люди, только привет с утра и все. Он сказал, что и раньше не все гладко было, уже давненько что-то не ладится.
А я опять не знаю, как дальше быть? Уводить его из семьи даже никогда и не думала, считала, что его семья - это крепость. Но и ТАКОЕ общение меня уничтожает потихоньку. Хочу свою семью. И его тоже хочу. Как мне это все побороть?! Может, у кого-то были похожие ситуации, как бы вы поступили?
Да, и заранее говорю, что осуждать и читать морали мне не нужно. Себя давно уже сама осудила.