Ну, чего-то ему не хватает в браке, раз такого хочется, какая-то из потребностей не удовлетворяется. Может не чувствует себя достаточно нужным, восхищения жаждет. Да мало ли что его толкает на такое. Но причина всегда есть. И запретом общения с другими людьми эту проблему не решить.
Тут три пути. Развестись и начать искать того, кому нужны именно Вы со всеми своими тараканами. Разобраться в том, чего не хватает мужу и постараться это ему додать. Забить на это все и пустить ситуацию на самотёк.