Мужчина настойчиво приезжает в гости

Встречаемся с мужчиной 1,5 месяца. Он живет со своим ребенком 17 лет, я живу с мамой. Мужчина настаивает на совместном времяпровождении у меня дома. То есть, не спрашивая может сказать - я через 2 часа к тебе заеду. Я завтра к тебе приеду. Без приглашения. Одно дело, когда я предложила, а другое когда вот так. Тем более дома мама и ее комфорт нарушать тоже не хочется. У него дома я ни разу не была. Не знаю почему, могу предположить, что из-за сына. Как дать понять, что не ему решать, когда он будет ко мне приезжать?