"Смириться или развестись?"
Ни то, ни другое.
Для начала подумать головой. Что вам даст развод, кроме отсутствия угрызений совести? Это ведь меняется вся жизнь. Вы готовы переехать, расстаться с друзьями, объясняться с детьми и родителями, делить имущество, привыкать к одиночному образу жизни - и ради ахов-трахов?
Не угрызайтесь - вы уже не можете изменить мужу, при "наличии отсутствия" секса с ним.
Спокойно заводите любовника, начните хоть с курортного романа. Только осторожно, не нарвитесь на шантажиста. Никаких фото, видео и прочих улик.
С другой стороны, вы мужу уже высказали проблему. Он своим бездействием фактически позволил вам связь на стороне, лишь бы "без шума и пыли". У него-то наверняка секс есть, но без афиширования сего факта.