Парень обижается на то, что не впускаю его в квартиру

Такая ситуация: я не люблю когда у меня кто-то находится дома ,пока идет ремонт,да я и впринципе не люблю, мой мч знает об этом, очень много ссориличь по этому поводу и кажлый раз он в обиде. Сегодня ради того, чтобы мы встретились после долгой разлуки,я ушла почти со всех пар. Он опчть начал эту тему,хотя вроде все обговорено( и почему нельзя, и даты когда примерно сможе, и тд),я как обычно говорю "нет", на что он мне "я обиделся". Я понимаю, что моя позиция странная,но это касается моего комфорта, поэтому я так выставила границы. Но его "я обиделся", когда мы всё проговорили, когда я ему ничего сегодня не оьещала, когда не я начинала эту тему, меня выводит из себя. Что делать в такой ситуации и как объяснить мч,что мне не приятно всё это((