Маменькин сынок - нет сил терпеть

С мужчиной вместе 5 лет, живем вместе 1,5 года. Ему 33, мне 27. Живем рядом с домом, где живет его мама и кот. Как мы заехали, мужчина каждый день ходит к маме на 2 часа, по выходным также - каждый выходной уходит туда на 5 часов. За 1,5 года ни разу не было дня, чтобы он туда не пошел. До этого он жил естественно с мамой.
Первое время я думала, что ему тяжело привыкнуть и закрывала на все это глаза, но сейчас мне это уже настолько надоело, что я попросила его ходить туда пореже, например, 3-4 раза в неделю, что мне его не хватает, я постоянно одна. На что он ответил "Нет", что он будет ходить, куда хочет и когда хочет (его слова).
У нас произошел скандал на этой почве. Я не готова больше с этим мириться, для чего ему тогда я. Я постоянно везде одна, пока он там у мамы: в выходные в магазин одна, за продуктами или для дома что-то купить, гулять тоже одна, такое чувство, что при живом мужчине я одинока. Я уже склоняюсь к тому, что для чего он тогда нужен. Очень удобно, что в будни пришел поел у нас дома, пошел к маме с котом посидел, потом вернулся и у нас поспал. К слову: вещи свои он до сих пор не перевез, они у его мамы в квартире, ему типа так удобно ходить переодеваться.
Накипело - сил нет! И все это он аргументирует, что ходит к своему любимому коту, а не к маме и хочет уделять время всем своим близким. Проблема во мне или в нем? Помогите советом со стороны. #отношения