Не надо уходить ,у вас уже семья и должны оба взять себя в руки. Еще раз поговорите с ним и обсудите все траты, ведите учет на что тратите