Уходить или остаться ?

Добрый день ! Встречаюсь с мужчиной, разница в возрасте у нас приличная (он старше). Он постоянно проводит время со своими друзьями (среди них мужчинки 40 лет, их жены и девушки).
Соответственно мне в этих компаниях делать нечего, интересы разные у нас. Он предлагал сходить с ним, но сидеть и молчать там, как дура и видеть косые взгляды я не хочу. Он им рассказал обо мне, они уже начали козни строить (девушки и жены дружков)
Меня это очень напрягает , сил терпеть больше нет. Мне кажется в 40 лет у мужчин должно быть в приоритете создание семьи, а не посиделки с дружками. Я не против его друзей, но нужно ведь знать меру, я думаю встретиться пару раз в месяц вполне достаточно. Вместо того чтобы посвятить время мне, он сидит со своими друзьями (вместе ещё не живем, видимся редко)Говорит что любит меня сильно , но если бы любил проводил бы время со мной….
Он ни разу не был женат, детей нет, может в этом и причина?!
Что вы думаете по этому поводу? Нормально ли такое поведение или я сильно загоняюсь? Если нет , то что делать ? Стоит ли ставить ультиматум?
Уходить от него?