Мужчина обижается, что не зову его в гости

Познакомилась 4 месяца назад с мужчиной 38 лет. Цветы дарит, подарки, деньги когда прошу переводит (но я не наглею, если прошу, то не много). В основном встречаемся редко, тк он много работает, но все эти встречи либо где-то в кафе, либо у него дома. И часто от него я слышала будто в шутку (когда переводил мне деньги), что ждет от меня борщ. Мне приготовить не сложно, но если только у него дома. К себе я не приглашаю. Не вижу смысла этого делать притом что у него есть своя квартира. Даже обманула, что ко мне временно приехала подруга жить, чтобы тот перестал напрашиваться. А тут он спросил уехала ли подруга и выяснив что да, то занял прям позицию, что ждет когда приглашу в гости. Неужели это так важно??? Для чего так ломиться к девушке домой? У нас просто дом с тонкими стенами и мне не хочется чтобы соседи слышали чем мы там занимаемся. Да и вообще как-то не хочу из своей квартиры делать какую-то ночлежку, а я знаю, что он явно хочет оставаться с ночевкой.