МЧ его Ребенок и Я

Я с моим МЧ больше года живем вместе. У него ребёнок, сын 11 лет. Сначала всё было хорошо. Мы с малым и гуляли вместе и играли и общались. Потом его мама начала ревновать и плакать ( ему же ), что он постоянно обо мне говорит и что со мной делает. Ребёнок живёт с нами 1 неделю и 1 неделю со своей мамой. Были ситуации когда не из-за чего он начинал орать, говорить что ненавидит папу, меня и не хочет у нас жить, (были попытки меня ударить в лицо). Мама его не хочет забирать навсегда, тк у неё другой МЧ и естественно она хочет иметь 1 неделю покоя. Эта история длиться больше года. Мы с моим МЧ ссоримся и практически не проводим времени вместе (работа, учеба, сын, дома стресс). Он не хочет отказываться от ребёнка и не хочет разрывать наши отношения. Ребёнок хочет, чтобы я ушла, а я хочу, чтобы он ушёл ( решение за МЧ ). Я не хочу стоят между ними. Но если я приму решение и уйду, то он будет в душе винить бывшую и сына.
Мы хотим быть вместе и создать свою семью. С сыном я не разговариваю ~ 6мес. (только «привет» и «пока») поскольку так меньше нервов. Но так жить дальше я тоже не могу, дома постоянно напряженная ситуация.
Какое и кому решение принять? Как быть дальше?