Помогите. Бывший муж и ребёнок.

Мне 37, моей дочери от первого брака 14. Я вышла замуж, когда мне было 21 через два года развелись, потому что это был человек, которому никогда не были нужны семья и дети, он даже в роддом не потрудился прийти. Последние 7 лет он жил большей частью в Австрии, редко приезжал в сюда и очень редко виделся с дочкой, она вообще не была ему нужна.. Я вышла замуж во второй раз, у нас родился ребёнок-сын, ему 4 года. Муж полюбил дочку, как родную, у нас очень счастливая семья. Но у бывшего мужа, что-то не заладилось там, он вернулся обратно в Москву. Знаете, за всё время он так и не обзавелся семьей, потому что вообще не семейный человек, детей у него больше нет и я думаю, что его уже припекло, он понимает, что по сути одинок, и он начал активное сближение с дочкой, а она очень добрая и наивная девочка, очень мягка, как улитка без раковины, и конечно, он втерся к ней в доверии. Мы с мужем решили, что не надо препятствовать общению настраивать её против нас, но, понимаете, я замечаю, что после общения с ним она к нам настроена очень агрессивно, любое замечание воспринимает в штыки. Я понимаю, что нельзя запрещать общении, но как свести его влияние на неё к минимуму?