Что делать с браком?

Нужен совет от опытных женщин (да и мужчин тоже). Женаты с мужем три года, знакомы четыре. Я забеременела достаточно быстро после знакомства, подвели противозачаточные. Вместе решили, что будем рожать, я не настаивала на отцовстве и на браке. Муж был совсем молодой 22 года, мне было 23. Само собой, что недогулял (я это понимала, говорила, что с друзьями может общаться сколько угодно). В общем поженились, родилась дочь, в ипотеку взяли дом. Муж работает, я сейчас тоже на работу вышла.
Суть проблемы: недавно залезла к нему в телефон и увидела переписку с девушкой, с которой у мужа когда-то случайно тоже чуть не случился ребенок (очень плодовитый, да). Тогда ребенок не выжил.
Из переписки прочитала, что когда муж ездит к родителям (они все живут в другом городе), то бывает у нее, вместе пьют, развлекаются, но секса нет (это явно понятно из переписки). Та мадам тоже замужем, кстати, он естественно ничего не знает.
Разговаривала с мужем, он считает, что вправе иногда общаться с кем захочет, ведь секса нет. Даже переписку не удосужился удалить. (Я залезла в телефон, потому что достали звонки каждый вечер, говорит, что банки звонят и скидывают)
Муж по характеру конечно ещё ребенок, ему 25 сейчас. Зарабатывает хорошо, ребенок его любит, уходить мне из общего дома некуда.
Вопрос, муж предает, но сексуальной измены нет. Зная все данные уравнения, и зная, что идти мне некуда, как поступить? Сделать вид, что простила и жить дальше, зная, что все повторится, пока не надоест самому. Или уйти с ребенком вникуда. Ведь я всё-таки работаю.
Ещё проблема в том, что очень жаль доченьку, она привыкла жить в огромном доме и с любимым отцом.
Отношение у самого мужа пофигистичное, вроде делай что хочешь. Извиняться не собирается.
Может просто жить как соседи и мне заниматься своей жизнью? Очень трудно что ли сообразить, запуталась