Муж не отпускает с подругами

Ситуация: я замужем, у нас есть друзья 3 семейные пары, знаем их со студенчества: 2 подруги изменили своим мужьям. Я знаю, что у обеих был секс на стороне. У одной был роман-секс неоднократный, другая переспала один раз. Мой муж ничего об этом не знал. Но знал, что какая-то интрижка была у первой, т.к. любовник встретился с мужем и случился конфликт- мой муж разнимал. О том что у их жен был секс мужья не знают до сих пор. Так вот третья подруга пришла к нам в гости и при моем муже выпалила это, что первая Ахалась в их же с мужем квартире, а вторая ахалась в театре с актером.
Мой муж конечно офигел от новостей и теперь не отпускает меня с ними в кафе. Не в ультимативной конечно форме, просто говорит, что ему будет неприятно, если я пойду. Говорит, пусть приходят к нам и общайтесь, а тусовки неприятны и он будет переживать.
Вы бы как поступили? Пошли в кафе?