Как поступить?

Прошу поделиться собственным опытом, не мнением, а именно опытом.
Ситуация такая. Я развелась с мужем когда ребенку было 3 месяца. Он скандальный, неуравновешанный ,слово лишнего не скажи, истерика и скандал обеспечаны. В общем он вернулся жить к маме, я осталась в своей собственной квартире с ребенком. Договорились, что будет приходить видеться с ребенком когда ему удобно ибо я в декрете, всегда дома. Каждый его приход заканчивался скандалом. Перешли на другой режим встреч, я передавала ребенка ему в коляске на улице что бы он ходил с ним гулял. Скандал устраивал на улице. В общем что бы я не предпринимала, все заканчивается скандалом т.к. он хочет вернуться в семью и видимо считает что своей агрессией этого обязательно добьется. В общем ребенку уже 2,5 года. Мы пляшем по одному итому же сценарию. Ребенок безумно любит отца, но каждая наша с ним встреча даже пятиминутная оканчивается грандиозным скандалом. Я уже и молчала и отвечала спокойно и орала также на него, чего только не препринимала, разные действия, все одно и тоже, я ***-он хороший, пустите меня домой...
Планирую уехать с ребенком в другой город, сил терпеть уже нет... Но... Я боюсь что этим травмирую ребенка