Если у партнера нет желания решать возникшую проблему, и если он не осознает что его поступки рушат ваши отношения, то да—разводиться.
Я всей ситуации не знаю, но если у вас есть еще шанс на разговор и понимание друг друга без ссор, то воспользуйтесь этим шансом! Желаю вам удачи, девушка, и надеюсь, что ваши отношения с супругом улучшатся.