Извиниться он и станет легче? Да в пень его извинения, пусть лучше поменяет свое отношение к вам. Сочувствую вашей утрате( .

Спокойно объясните, что при наличии проблем реже видеться - это не выход, а вы для него - не развлечение выходного дня. Поэтому выходов не так много - или вы все же учитесь в повседневном режиме разговаривать и решать возникающие проблемы, либо, если ему так нужен отдых от вас - пусть отдыхает, но уже насовсем. Понятно, что говоря такое, надо быть готовой и к худшему варианту развития событий, но иначе - вам ничего не остаётся, как прогнуться и принять его условия - развлекать его в выходные, боясь сказать лишнее слово и понимая, что в остальные дни недели он развлекается уже без вас. И насчет того, что он не тиран и не абьюзер - придется вас разочаровать: нежелание слышать своего партнера и разговаривать, спокойно обсуждать конфликтные ситуации, признавать свои ошибки - это, как раз, признаки токсичного человека, склонного к психологическому насилию и манипуляциям. Сейчас об этом много информации - почитайте.