Не нравится можешь не общаться

Всем добрый день.
Даже не знаю зачем я сюда написала, наверное чтобы услышать мнения разные по данному поводу. Так как уже долго не могу переварить в себе информацию.
Общались с мужчиной-коллегой, да была симпатия с обоих сторон. Мужчина склонный к депрессии, как я потом поняла с нарциссической травмой. Часто прерывал общение, просто переставал сам идти на контакт. Но , я видя в нем раненого человека шла первая, он радовался, общение возобновлялось.
Вместе быть не могли, я не свободна, но прекратить общаться я не могла себя заставить. Прошу не осуждать.
Потом мужчина резко включил обесценивание, отстранился и взял высокомерный тон разговора.
На мое «Ты сейчас разговариваешь со мной высокомерно.» сказал, что я к нему придираюсь постоянно и если мне не нравится, то могу с ним не общаться.
Меня если честно как ударили.
Был перед этим незадолго момент у него на работе, конфликт, он тяжело переживал, сгоряча написал заявление на уход. Я его подбадривала, разговаривала с ним, просила забрать заявление, что он в итоге и сделал. Все у него относительно наладилось и даже начались успехи.
Я делилась с ним своими какими то личными вещами, переживаниями и тут он такое говорит.
Он сказал и резко вышел . Как будто вспышка гнева. Я просто была в ступоре и сильной обиде. Надеялась, что человек извинится.
Но он недолго пытался наладить общение как бы между делом, пару раз обратился к общению, увидел , что я не настроена и отвалил.
Через некоторое время я смягчилась и он был не против общаться, но внутри меня осталась обида. Оскорбление. Как будто мои чувства не важны. И я заставила себя общаться по работе ровно , дружелюбно и не более.
Как надо было отреагировать? Может надо было сказать что это неприятно? Обида засела внутри.
Если оказываемся наедине он ждет от меня общения, я вижу, но сам молчит. Я тоже молчу.