У него скорее всего отношение к вам, как к "запретному плоду". Ему нравится общаться и встречаться с женщиной, когда уже есть своя и с другими общаться нельзя. Если бы он развёлся - месяц два и вы бы прекратили общение. Стандартная практика. А у вас, кажется, есть к нему чувства. Но у него их скорее всего нет. Лучше разводитесь с мужем и ищите себе другого мужчину. Любовники - это сложно. Если кто-то узнает, вас камнями закидают, хоть на той же работе. Ну а так - если вас всё устраивает, кроме красоты его жены - то зачем всё прекращать? Не думайте, что во время интима он вас сравнивает. Нет. Он навряд ли способен думать в этот момент вообще.