Знаю, что муж любит другую, но меня не бросит из-за своей порядочности

Я замужем, в браке 3,5 года. Моему мужу 33 года, дочке 2 года. Он фантастически порядочный человек, семья у него патриархальная, очень уважает отца и мать. Ко мне он хорошо относится, дочку любит. Никогда не было между нами каких-то скандалов. И я знаю, что так оно и будет. Но есть проблема - знаю, что любит другую.
Он из-за своей порядочности будет так и дальше жить, ради родителей и ребенка. С той женщиной они были знакомы еще до меня, она младше его. Познакомились, когда она училась в школе, то есть была еще юной. Подробностей не знаю, лишь только то, что ее родители запретили им быть вместе. Сейчас она живет одна, не выходит замуж.
У него есть ее фотография в кошельке. Знаю, что они звонят друг другу. Не могу, конечно, поручиться, но считаю, что инти*ной связи у них нет. Просто это надо знать моего мужа, никогда никого не обманет. Я как-то затеяла разговор об этом. Он сказал, что любил ее всю жизнь, но от меня не уйдет, если я сама того не захочу. Сказал, что раз женился и у нас ребенок, теперь не может нас предать.
И вот, с одной стороны, я знаю, что он не уйдет, а с другой строны, это так ужасно знать, что человек привязан к тебе только цепями порядочности, когда ты его любишь. Вот у кого-то мужья изменяют, жены боятся, что их бросят. А у нас все не так, вроде есть муж, и знаю, что он слово дал, но от этого не легче.
Последнее время я стала срываться из-за этой ситуации. Недавно наорала на него, что он со своей порядочностью портит жизнь мне и себе. Получается, что он такой хороший и честный, упрекнуть его не в чем, а я вроде такая «кляча», держу его насильно. И выглядит это, будто это я виновата, а не он. Он – «святой». Его вина лишь в том, что, не подумавши, женился. Если любил, так чего женился-то на мне? Случайной беременности не было, я забеременела только после четырех месяцев брака.
В общем, не знаю. Как себя ведут в таких ситуациях? Мать говорит, чтобы не забивала себе голову этим. Есть муж, деньги, а что он кого-то любит, это его дело. Считает, что я буду идио*кой, если сама уйду от такого мужа. Но мне тяжело так жить. Я чувствую, что он меня не любит и се*са не оxень хочет. Если разведусь, думаю, с финансовой помощью от него проблем не будет. Он дочь любит и вообще никогда не позволит, чтобы она нуждалась или я. У меня есть машина (он купил), подарки дорогие, драгоценности дарил. Получается, что в этой ситуации никто не счастлив. Но боюсь, что если решусь разводиться, потом буду жалеть об этом всю жизнь. Что можете посоветовать?