Не можем с ним остаться вдвоем вообще

Здравствуйте, подскажите пожалуйста как быть в такой ситуации. Встречаюсь с парнем, он живет в общежитии, в отдельной комнате, вместе с ним в этом же общежитии но в разных комнатах живут его друг, и его брат с женой и маленьким ребенком. И раньше у них было так заведено, что все вечера после работы они проводили вместе, ужинали, отдыхали, смотрели телевизор. Но после того как брат  парня стал жить с женой, то это традиция осталась только между другом и моим парнем. А так как я в последнее время живу с парнем в его комнате в общежитии, то мы не можем с ним остаться вдвоем вообще. Каждый вечер мы ждем его друга, чтобы вместе поужинать,( раньше или позже нельзя, а то друг обидеться) потом нам приводят ребенка его брата, чтобы мы с ним играли, и так каждый день с 18 до 22. Они ведут себя настолько посвойски, что даже в комнату входят без стука и в любое время дня и ночи. Времени на личную жизнь у нас нет совсем, на едине мы не остаемся. Меня все это начинает дико злить, А парень говорит, что он не может сказать другу и брату чтобы те не приходили.   А я не могу понять почему эти люди ведут себя так безпордонно и напрочь игнорируют, что у нас есть своя личная жизнь. В последнее время с парнем постоянно из-за этого ссоримся, он говорит, что я его не понимаю, а меня такая ситуация не устраивает, за пол года мы смогли побыть на единые всего 4 дня когда те все уехали в отпуск. Вообщем помогите пожалуйста как поступить в данной ситуации? Как парню обяснить что мне жизненно необходимо проводить время с ним наедине? Как объяснить другу парня и его брату, чтобы они дали нам немного личного пространства и чтобы при этом не разрушить их отношения с моим парнем?