Дурацкая ситуация: бывший и муж

Так случилось, что в 17 лет за мной ухаживал женатый мужчина с целью развестись и жениться на мне. Ему было 35, 2 сына учились в школе,плюс любовница многолетняя, я конечно не поверила и отказала, но не умела это делать нормально и со всякими оговорками, типа если бы ты был свободен, не буду семью разбивать и тд. Вот, я быстро выскочила замуж и уехала. А теперь через 4 года бывший этот меня нашел, уже развелся, все алиментные заплатил, любовницу бросил, и как огурчик типа, вот он я какой молодец. Муж мой в курсе, но уверен во мне, негодяй такой, как ни удивительно. Его жена тоже в курсе, но не против,а рада, что любовница исчезла, она ее ненавидит страшно. И муж главное хороший человек такой, но ревнивый и занудный ужасно, а бывший прямо мед и масло, на все готов и все мне позволяет и радуется ,и комплименты прекрасные делает...Может, я их не люблю как надо, но что-то делать нужно. Неудобная ситуация. Мне некомфортно. Кто был в таком положении? как решилось дело?