Муж хочет уехать на ночь, я против

Добрый день. Ситуация следующая, с мужем живём полтора года. До этого 3 года были вместе и из них полгода жили до свадьбы.
У нас была договорённость, которую он сам же и озвучал, что спим мы всегда дома вместе, без всяких ночёвок где-то(за исключением веских ситуаций, о которых предупреждаем).
Так вот, когда мы были в отношениях он переодически ездил куда-то на ночь с друзьями, я уже точно не помню куда. Я сама летом часто уезжала в родной город, бывало на месяц.
Как стали жить вместе прошлое лето мы никуда не ездили. Но в этот же раз он мне говорит, что собирается с друщьями и их жёнами с палатками на ночь. Меня с собой зовёт, даже уговаривает. Я сразу напомнила ему его же слова, и сказала, что я ехать никуда не собираюсь. На что он сказал, я тебя зову - ты отказываешься, тогда поеду один. На что я сказала нет и, что если хочет испортить отношения, то может ехать конечно, хоть на две ночи.
Суть в том, что эта поездка намечается, но ещё никто не решил когда и тп. А у нас уже разногласия, что эта ситуация вообще произойдёт. Не разговариваем сейчас.
Подскажите что делать. Сама ехать никуда на ночь не хочу и чтобы он один ехал тем более. Я считаю, что спать муж с женой должны вместе дома. А эти посиделки с друзьями проводить нужно днём/вечером, а не ночами.
Я просто понимаю, что если он уедет - мы поругаемся, потому что замалчивать такое отношение к себе я не буду. Как решить этот момент? Ругаться нет сил и желания. Сейчас ушла в дистанцию. #ссорасмужем