Поставьте себя на место его жены. Вам было бы приятно узнать, что другая девушка приняла решение, несмотря на наличие семьи, протянуть руку к Вашему мужу?
Если совесть не уколет - решать Вам. Но тот факт, что Вы пишете на форум, свидетельствует, что душа не на месте у Вас.
На чужом несчастье счастья не построить (измена - всегда несчастье. Ею невозможно "укрепить брак", как оправдывают это некоторые мужчины, неспособные справиться с собой и своими чувствами).
Если совладаете с собой, будете постепенно сворачивать общение - увидите, как жизнь отблагодарит Вас. И мужчину спасете от неверного шага, начинающего разрушение семьи, и совесть у Вас чиста будет. Я знаю, о чем говорю - у меня был такой опыт. Все закончилось хорошо - общение прекратилось, мужчина перестал интересоваться. Очень хотелось бы верить, что в дальнейшем мужчина свои взгляды на общение с женщинами пересмотрит. Но, если это и наивно - так думать, и "невозможно" (т.к. человек, считается, "не меняется"... что тоже - неверно. Меняется, еще как, - по жизни, в разных обстоятельствах, не всегда приятных, увы), то, хотя бы, на мне эта цепочка, хоть на время, пресеклась.
Удачи Вам! Все будет хорошо.