Автор, а как Ваш муж эмоционально себя чувствует?
У меня такое было, ещё до детей, позже выяснилось, что у мужа клиническая депрессия. В итоге целибат продлился на весь долгий период приёма им антидепрессантов. Заработали оба кучу болячек из-за этого.