был в браке,ушел,мы начали жить вместе

Мы встречались 2 года он был в браке. Сейчас мы живем вместе,прошло пол года как он ушел из семьи. Видеться с дочкой каждый день,я не против, была бы даже рада если бы он ее приводил к нам,это очень очаровательная малышка. Проблема в том что стараюсь делать для него все(в той семье все делала теще,жена только с ребенком сидела),но он очень агрессивный стал со мной(раньше этого не было),может послать,сказать что бы заткнулась и все в этом духе. Но при этом на вопрос может он хочет вернуться туда,говорит что кроме дочери ему там никто не нужен...