Как развестись с ребенком на руках без скандалов?

Муж часто пьет и напивается. Ведёт себя при этом агрессивно, может схватить за руки или кинуть что-то, если я начинаю скандал по этому поводу. Но даже если ничего не говорю, атмосфера напряжённая. Есть маленький сын, от этого и проблема уйти. Боюсь, что если начну угрожать уходом, он напьется назло и тогда проявит агрессию. И в скандалах, он конечно же говорит можешь проваливать, но сына не отдам. Жалею, что беременной не ушла и сказала, что будет ребенок. Однажды, в порыве его ярости, где я очень испугалась,вызвала при нем полицию, но они не приезжали часа два, даже отменила заявку. Сразу скажу, отменила не от жалости к нему, а от того что не хотела чтобы с работы уволили плюс органы опеки не поставили на учёт. Как уйти с ребенком, когда боюсь, что он начнет ставить палки в колеса? И проявит агрессию?