На перепутье. Как быть дальше? Любовь или одиночество.

Всем доброго дня. Мы с моим мужчиной живем в гражданском браке 2 г. Мне 30 ему 35. Познакомились по работе 6 л назад, в процессе я узнала, что он женат, естественно сразу же постаралась отгородиться от него, не приемлю отношений с женатыми мужчинами. В то время я была замужем, есть сын 10 л. Прошло время, все попытки отгородиться от него свелись на нет. Я влюбилась первый раз в своей жизни по-настоящему и он тоже. Я чувствовала и знала - как это плохо, но побороть себя не могла. Мы стали встречаться, грубо говоря стали любовниками. Это продлилось около двух лет с постоянными моими попытками порвать отношения.Но вранье и обман долго терпеть не смогли. Это очень сложно, испытывать чувство вины, но понимать, что пересилить себя тоже невозможно. Он ушел от жены, я от мужа. Сейчас оба в разводе. Когда съехались, счастья было море, но потом эйфория ушла, прошлые семьи, не общие дети.В данное время его бывшая жена живет с другим мужчиной, мой бывший муж с женщиной. Вроде бы все встало на свои места, но как то все не то. Вроде и любим друг друга сильно, но постоянно ссоримся. Конечно, бумеранг существует, но по-моему свое я уже выстрадала за 2 года. Он бывает очень груб и резок, может ни с сего ни с того обозвать и обидеть. У меня появляется чувство ударить его. В жизни до этого такого не было, ни с ним, ни с 1 мужем.Я постоянно как будто в сомнениях. В последнее время у него напряженка с работой и он стал очень агрессивный, часто может сильно обидеть, извинится, а потом снова. Я уже часто думала о том, чтобы уйти, слишком тяжело, когда ради человека готова на все, а он так себя ведет.Посоветуйте - что делать? Бороться за чувства, идти сквозь терни, чтобы быть счастливыми или отпустить и начать новую жизнь? Большая просьба ко всем: здоровая критика приветствуется. Оскорбления - нет. Подколки и трольство тоже, пожалуйста, мимо. На форуме недавно, долго не решалась написать, зная, какие здесь есть злые люди. Советов не дают, а только оскорбляют. Спасибо всем заранее.