Половое воздержание наоборот полезно.

И эту энергию нужно направлять в творческую деятельность, в любимое занятие.

Не слушайте разных мнений и домыслов, что это вредно и т.д. Так говорят те люди которые не могут контролировать свои желания и просто идут на поводу своих чувств.

Давайте приведу одну хорошую аналогию.
Если у мужчины есть дом, где хорошо и уютно, он там отдыхает и расслабляется, после работы, после дел, то зачем ему идти ночевать в гостиницу? Как бы там не было красиво, но дом то родной, свой, любимый, который принимает и рад. Зачем тогда нужна гостиница?

Люди всегда стремятся туда, где лучше, где им хорошо. Есть только две главные причины в корне всего, что мы делаем, это отдавать любовь и принимать любовь. Если эти две потребности реализуются, тогда мы чувствуем себя счастливыми.

Вот он вас тоже начал не устраивать и вы думаете, может бросить?
Так и его так же что-то не устраивает. По сути оба идёте в одном направлении.

Над отношениями нужно работать, развивать любовь. Любовь приходит когда вы её развиваете, а не сама собой.
А когда человек любит, он получает огромное счастье для себя и хочет что-то делать для этого человека.

Если бы Ваш муж максимально заботился о Вас, эмоционально поддерживал, любил, делал приятное и радовал, отдавал свою любовь, вы бы задумывались о том чтобы уйти от него к другому?
Так же и в отношении его. Просто вопрос, кто будет более разумным и начнёт первым.

Начните любить себя, не путать с гордостью. Любить себя это принимать себя такой какая есть, а гордость это возвышать своё достоинство над другими.