Совершила ошибку, как поступить? Терпеть ли мужа?

У меня такая проблема, встречалась с молодым человеком, любила безумно. Но на тот момент у него была девушка, а я так сказать любовница была, после нескольких лет таких отношений он заявляет что жениться, после свадьбы отношения у нас не прекратились, до тех пор пока я не встретила будущего мужа. Прошло время я вышла замуж, у нас родился сын, все бы хорошо, но есть одно НО, муж после рождения сына не помогал, периодически поднимал руку, ссоры, секс был очень редко, а сейчас совсем нету, с мужем вместе всего три года. При всем этом муж говорит что боится потерять меня, что очень любит. И как то раз случайно встретила того самого МЧ который женился, как оказалось семейная жизнь у него не сложилась и он в разводе,детей нету. мы общались, гуляли вместе,секс с ним отличный, в общем получилось так что я поняла, мои чувства не куда не делись и по прежнему к нему тянет, он тоже говорит что чувства у него ко мне есть и тот факт, что у меня есть ребенок его не сколько не пугает, он хочет быть со мной, и я хочу, хочет что бы развелась. Но мне мужа жалко, хотя очень хочу, помогите советом, как бросить такого муженька, и как поступить с теперь уже моим любовником? Тянет к нему очень.