Отдельная квартира для мужа

Недавно приобрели квартиру в соседнем подъезде. Изначально были мысли ее сдавать, но сейчас муж передумал и она стоит пустая. Он там проводит по несколько часов в день, вечером туда приезжают его друзья и он с ними сидит. В изменах заподозрен не был, да и это невиданная наглость, водить туда кого-то у меня под носом. Все соседи знакомы. Он говорит - отдыхает там (у нас небольшая квартира и трое детей, естественно, дома кипиш), но мы строим дом и это временно.
Ситуация с новой квартирой меня категорически смущает, я настаиваю, чтобы он ее сдавал, доходит до скандалов. Он считает, что имеет право на личное пространство, а я считаю, что если есть ежедневное желание отдохнуть от семьи, зачем вообще тебе нужна семья? Я работаю, хорошо зарабатываю, хорошо выгляжу, муж зарабатывает в разы больше, хозяйство и дети в основном на мне. Он считает, что я гноблю его. Скажите свой взгляд со стороны, это нормальная ситуация и какие действия предпринимали бы на моем месте?