Не могу разобраться в отношениях с мужем

Не могу разобраться в отношениях с мужем. В браке 7 лет, детей нет. Мне 31 ему 37.
Мы начинали с нуля, он работал, я совмещала учебу и работу, от постоянной нехватки денег зачастую бывали конфликты на бытовой почве.
За все время мы наговорили друг другу много "хорошего", со стороны моего мужа были не только слова и дурные поступки, было что садился пьяным за руль в результате чего мы выплачивали немаленькие штрафы, не ночевал дома, стал выпивать и пр.
Я задумывалась о разводе неоднократно, но все же не решалась.
По итогу все наладилось живем в достатке, квартиру взяли в ипотеку в отношениях все нормально за исключением того что у нас отсутствует секс, может быть раз пол года.
Отсутствие секса по инициативе супруга. Я изначально пыталась разговаривать, закатывала истерики, но потом конфликты рассасывались, а ситуация не решалась. Возможно он мне изменяет, но с поличным я его не ловила.
На текущий момент я твердо настроилась на решение ситуации. Поговорила с супругом предложила сходить к семейному психологу/сексологу-он не хочет. Разговаривала с ним спокойно, но его поведение после нашего разговора заставляет меня чувствовать себя виноватой, как будто я сделала что-то плохое. Перестал со мной разговаривать вторую неделю молчим, поясняет отсутствие секса тем, что раньше я закатывала ему истерики и скандалы, что ему стремно идти к специалисту. И вообще он любитель коллекционировать обиды. Начала сама ходить к психологу. Так же я узнала, что он общался со своей бывшей девушкой, говорил что скучает по ней и пр.
Я разбита не знаю как жить дальше и что делать, и как опять не замолчать ситуацию "лишь бы не ругаться" буду благодарна за мнение или совет. Не знаю с кем поделиться, очень хр@ново. #семья