Как поправить разногласия?

Мы с моим МЧ встречаемся два года. Живем вместе около 3-месяцев. И все время одна и та же проблема после работы он едет не домой, а как маме. У него постоянно находятся причины и возращается он постоянно в 10 или 11 вечера. Я в нем уверенна, точно знаю, что не изменяет (проверено 10 раз). У него постоянно находятся причины ехать к маме. Я раньше звонила специально, чтобы он поторопился и пораньше приехал, но это бесполезно. Я прихожу с работы и все время одна. Для совместной жизни мы мало с ним видимся. Бывает он и ночует у мамы. Мы решили встрется после работы по пути и застряли у него на районе на два дня, а сегодня он вообще решил, что может не приехать домой. Я не стала его уговаривать, просто разозлилась сильно. На вопрос, почему так поздно он отвечает, что он уже живет со мной и видется каждый день. Я уверенна, что если перееду к нему он возращатся будет вовремя. Он же едет домой зачем то, а иногда и вообще у друзей застревает. Обещает вернутся вовремя.
Мы часто ругаемся из-за этого. Мне иногда кажется, что ограничиваю его свободу. Я стараюсь иногда не звонить до последнего, что бы не спросить где он. Я его спросила напрямую: "Не лишаю ли его свободы", он ответил, что не лишаю, что все хорошо. Хоть я попросила ответить чесно мне кажется, что он не хочет об этом говорить. У меня нет подруг, хочется с кем то погулять, а кроме его друзей у меня никого нет. Мне иногда не интересно с ними гулять, но нужно же с кем общатся. Я даже не знаю как его проучить за его проступки. Мое хобби у меня только дома, а моя мама далеко живет. Хочется уже расстаться из-за этого, но я ведь люблю, поэтому хочу как то проучить. Как мне найти с ним компромисс, если он категорически отказывается идти на уступки и находит причины задержатся.