Автор, выпишете на листочек, что нужно убрать, а что добавить в поведении вашего супруга. Далее нужно будет с ним это обстоятельно обсудить. Если не поможет, то к семейному психологу.
Если ничего не делать, закончится тем, что вы рано или поздно заведете любовника или просто уйдете, потому что он начнет вас раздражать.
Я видела такие истории неоднократно.