Ключи от квартиры у родителей

Живем с парнем в его квартире, скоро женимся. Когда он купил квартиру, то выдал запасные ключи маме и сестре, которые живут в деревне недалеко от города. До того, как мы с ним съехались, для них было нормальным делом перекантоваться пару часов или переночевать в его сьемной, а потом и уже в его собственной квартире. Они предупреждали, но в форме постановки перед фактом, мол завтра в город, у тебя остановлюсь на два часа. Парень никогда не был против. Когда съехались мы, такие дела продолжились, меня такое не устраивает, потому что такие приезды могут быть как и рано утром, до работы, так и после работы вечером.
Мы с парнем уже несколько раз говорили об этом, я ему говорила, что мне некомфортно, и что они так свободного в твою квартиру вхожи, просто ставя перед фактом, когда им надо и удобно. В таких ситуациях я просто ухожу к матери или просто ночую у нее. Парня бесит, что я так делаю, говорит, что я не принимаю его семью. А я не могу с таким пока смириться.
С родителями мы знакомы, но виделись пару раз. Его мать предлагала ему вернуть ключи, т.к. он живет не один, парень оставил все как есть. Что делать? Как решить ситуацию? Как смириться? Что подскажете?