Это общая проблема скажу вам так. У мужского пола идут друзья на первом месте, как раз из-за их гордости (или что там).
Скорее всего это придется просто принять, даже если с ним напрямую поговорите, то только будет безполезно потраченные нервы.
У вас хотя бы пару раз в месяц, у меня же парень экстраверт и он каждый день с каким-то другом. Бесит? Да.
Но если запретить банальное время с друзьями, то начнутся тайны и "задержки на работе". Оно вам надо? Лучше уж немного попсиховать, но вы знаете где он и с кем.

Та у меня тоже похожий характер.
Лично мне нравится мч, когда я рядом с ним, тоже как ребенок. Все замечательно и прекрасно.... Но как расходимся по домам) У меня просто все отпадает.
И могу только предположить: 1. Боится доверится. Открыться. 2. Боится отношений, не далеко от 1 пункта. 3. Всеми излюбленное, накрутила себя. Обиделась, а когда вы вместе все забывает уже)

Я конечно извиняюсь, но диалог как никрути тут потребуется. Ибо все варианты с действиями (например игнорирование , намеки на измену и т.д) приведут к куда более плохим последствиям , судя по описанию мужа. Поэтому прямо и говорите, что нужно разойтись по обоюдному.