Сказал, что я слишком ценю себя! Прозвучало как укор

Милые дамы. Ситуация такая: встречалась с молодым человеком, любовь бешеная была. Потом расстались и на протяжении двух лет он меня то притягивал, а как только я шла к нему отталкивал. Потом ко всему этому мы и работаем вместе. Долго хотел переспать со мной, однажды я согласилась. После этого пропал и подбивался к моей подруге, говоря ей что я его мягко сказать за...мучала :) при этом за последние пол года все движения шли с его стороны. Прошло почти два месяца опять начал писать мне в соц сети, в основном ерунду по работе. Сегодня при очередной беседе выдал мне ни с того ни с чего: Ты слишком ценишь себя! на мой вопрос к чему он это сказал, отмахнулся, что мол просто вырвалось. я расценила, как упрек. и задумалась
А разве это плохо любить и ценить себя? почему звучит это как укор? я долго как собачонка бегала за ним, любила и все прощала. как бы больно мне не было. а последнее время и вправду стала все это отпускать и показывать, что я шикарная женщина которая любит себя и больше не позволит вытирать ноги о свои светлые чувства. Как вы считаете как все это расценивать и стоит ли этого стыдиться?