Мужчина оскорбил очень грязными словами

Встречаюсь с мужчиной. Не получалось поговорить последнее время. Я звоню ему днем и вечером, он не берет трубку и перезванивает намного позже, ночью, когда я сплю и не слышу звонок. Мне это надоело. Позвонил сегодня ночью, я ответила и сказала что мне сейчас неудобно разговаривать, так как со мной в одной комнате спит другой человек. На балконе не могу разговаривать, так как шумно. Произошел краткий разговор. Он, когда чем-то недоволен говорит всегда: я иду спать, все пока. На что я ему ответила: хорошо, тогда утром я проснусь и заблокирую тебя везде, спокойной ночи, и скинула вызов. После он в ответ прислал пару некрасивых, мерзких оскорблений. Я ответила, что, такой мужчина никогда бы не стал моим мужем и я этого от тебя и ожидала. Загвоздка в том, что он такой человек, который никогда не извиняется. Проснулась сейчас утром, конечно я никого блокировать и не собиралась. Но осадок в душе остался. Для меня такие слова не позволительны, просто грязь. Как бы вы поступили на моем месте? Ничего не делать и ждать, когда сам проявится/извинится. Или это отчасти и моя вина и мне следует с ним поговорить?