кто то выше упомянул о границах - очень точно. Ставьте! Нужно поговорить с мужем и сказать, что вы любите его, но вам не приятно такое поведение и если он не прекратит, то вы будете вынуждены изменить свое к нему отношение ( условия ваши: уйду, перестану радоваться отношениям, перееду...что сочтете нужным);
Но!!! Скорее всего он продолжит заходить только уже без вашего ведома.
Хочу еще добавить, иногда любопытство, как она там без меня ненаглядного заходит слишком далеко, попытайтесь ему объяснить, что это затягивает)