Вопросом как правильно поступить, не пытаетесь ли Вы снять с себя ответственность за принятое решение?
Трудно прнимать такие решения... Но жить дальше вам, а не форумчанам.
Если хотите сохранить семью, готовы ли вы залечить рану предательства, простить партнера, понять и исправить свои ошибки, и ВМЕСТЕ начать строить новые отношения? Работать над отношениями.
Если расстаться, готовы ли пройти через расставание, залечить душевную рану и найти нового партнера?
И, даже, если вы будете готовы сохранить отношения и работать над ними, всегда есть ваш партнер. От него, тоже, очень многое зависит. Есть он, его желание быть вместе, работать над отношениями.

Чтобы принять правильное решение, надо себе ответить честно на многие вопросы.

Из вашего текста нельзя составить общий пазл, мало вводных. На что обратила внимание:
1. Вы живете с его мамой (нет других вариантов? Муж очень привязан к маме?)...
2. Звоночек по поводу другой женщины раздался, а вы не сдвинулись с места (фактически продолжили жить вместе) - разберитесь со своей самооценкой, с Самоценностью. Задайте себе вопрос: ценю ли я себя в данных отношениях?
3. Из вашего описания рисуется жертвенная позиция: он меня вернул, сказал, что не мешаю, другая чем-то держит, давит... Какую роль в этой ситуации играете Вы?
В отношениях, точнее в их результате всегда виноваты оба - ответственность надо делить на 2.
Возможно, ваш муж - незрелая личность неотсепарированная от матери, но это его путь и его проблемы.
Вы можете обратиться к психологу и проработать свои эмоции, проблему созависимости, травмы, паттерны мышления и в результате наладить свою жизнь, в которую придет Ваш человек.
Заглядывать в глубину души, срывая пласты - всегда больно и трудно. Но чем глубже Вы узнаете себя, тем выше станете как личность и потребность в "подобном" муже отпадет сама собой. Удачи! Хочется в Вас верить!