Думаю ненормально. Все таки он не ваш сосед по комнате в общежитии. Он муж. Поэтому такая скрытность странная. Может там и не любовница, а реально дела. Есть такие люди, их так воспитали, молчать. Поговорите без наезда, нормально. Скажите, что вас это смущает и вам бы хотелось доверия.