Закон на стороне бывшего мужа, а правда на моей стороне. что делать?

Добрый день, сложилась такая ситуация: я официально замужем во второй раз, беременна двойней, рожать через 2-3 недели. От первого брака дочь, которой через неделю исполняется 3 года. Бывший муж (отец дочери) алименты не платит (я на алименты в суд не подавала, так как сама хорошо зарабатываю, с ним лишний раз не хотела связываться), бывший муж не звонит и не пишет. Ушел, когда дочери было 6 месяцев, приезжает на 1-2 часа на новый год и на ее день рождения, то есть после расставания за последние 3 года я его видела раз 5 от силы. Когда приезжает, он не общается с ребенком, а начинает выяснять со мной отношения, ведет себя агрессивно.
вопрос вот в чем: он юрист и всегда тычет мне в лицо законом, что мол когда захочу буду приезжать, куда угодно и на сколько угодно ребенка забирать. Я, естественно, против, так как он ни разу с ней даже наедине не оставался, живет с другой девушкой не знаю где (адрес мне конечно никто не скажет), да и раньше (сейчас не знаю) употреблял неоднократно наркотики (на учете не стоял, просто "за компанию с друзьями").
Проблема вот в чем: так как у меня сейчас новая семья, я беременна на 9ом мес, да и ребенок в 3 года все понимает, не хочу бывшего мужа звать на день рождения дочери!! Если кто юридически подкован или имел такой же опыт, подскажите, как быть? Что вообще мне с бывшим мужем делать, чтоб он оставил нас в покое?