Запуталась. Устала все на себе тянуть

Мне 30 лет. С мужем живу с 17 лет. В браке 13 лет. Муж на 10 лет старше меня. Решили жить вместе, потому что у меня были очень сложные отношения с мамой.
8 лет жили с родителями. В их доме нам нельзя было проявлять чувства к друг другу.
В 18 лет поступила учиться и начала работать, в связи с этим он просил оказывать ему финансовую помощь, хотя сам работал. По моей инициативе у нас родился ребенок. Он абсолютно финансово никак не помогал: даже на день рождения, выпускной в саду или сборы в 1 класс. Не преувеличиваю.
Когда встал вопрос жить отдельно - не хотел и не помогал копить деньги на ипотеку. Справилась сама, накопила, оформила. Все же переехали в свою квартиру, но эмоциональной близости нет, только 2 года назад стал помогать финансово ребенку. Продукты, коммуналка, абсолютно все на мне. У него были проблемы с алкоголем, закодировался. Секс только тогда, когда хочет он, без прилюдий, побыстрому. Работаю на двух работах, обеспечиваю семью. Муж рукастый, спокойный, не оскорбляет меня, редко ссоры. И думаю, он любит меня. Со стороны кажется, что муж идеальный, спокойный и вообще могла быть очень хорошая семья. Хочу развестить, но боюсь, что ему и его семье будет плохо (его мама и бабушка сильно болеют), боюсь сделать ошибку. - ЭТО ПЕРВПЯ ПРОБЛЕМА.
Из-за такой долгой жизни у меня ушли чувства к мужу, еще тогда, когда жили с родителями. Два года назад мне начал оказывать внимание женатый мужчина, говорил, что влюбился. Год я не реагировала на него. Но потом через год решила попробовать пообщаться. Были встречи, но очень мало. И в те 6 месяцев, когда мы не виделись, поползли слухи, что я с ним сплю. Знала 1 подруга и то совсем немного, что я с ним переписывалась, но о встречах она не знала. Предполагаю, что она своей клиентке сказала про меня и этого мужчину, как-то это не так преподнесла ей. Ранее было, что эта подруга меня подводила. Если даже бы встречь не было, то слухи все равно были бы из-за подруги. Вместе нас никто не видел. А дальше все подхватили и теперь я капец, какая плохая. Стыдно выходить на улицу, все на стороне мужа, думают, что мне молодого захотелось. Муж хороший, а я его предаю. - ВТОРАЯ ПРОБЛЕМА
с этим мужчиной все прекратила. Я не выгораживаю себя. Пробовала 2 раза разводиться, еще до начала общения, но не смогла, потому что не умею ругаться, обижаться. Муж подходит с перемирием, обещает измениться и я опять думаю, надо сохранить семью. Много читаю про отношения, начала работу с психологом, чтобы улучшить свое отношение к мужу.
Подскажите, как перенести, то, что обо мне говорят сплетни? Они ведь не знают всего, а видят только картинку.
И не знаю, что делать, я устала все на себе тянуть. И боюсь, если разведусь, потом пожалею.