Как расстаться с парнем, который орет на меня?

Всем доброй ночи. Встречаюсь с мужчиной, с ним всместе не живу, бывает всместе проводим недели или дни, он дико стал орать на меня и на свою маму. Мама у него очень хорошая. Общается с бывшей супругой мило и тихо. Ради общих их детей, как говорит. Хотя там супруга бывшая с синдромом плюшкина и дети прибывали иногда в этой мало сказать помойки. Синдром плюшкина кто знает, это кошмар. Хочу его бросить. Как растаться не знаю, страшно уже, давно всместе, таким вначале не был, а потом понеслось, выхода уже не вижу. Попросила как-то его сходить к психологу всместе, получила такой ор в свою сторону, что психолога мне надо и я совсем уже обращаться. И он прям орёт. Орёт на столько психически, это ужас один. Мне страшно растаться, боюсь за себя очень. Он знает где я живу, столько лет всместе. Боюсь, не причинит ли мне вреда. Подскажите пожалуйста, как растаться.