Трудно советовать со стороны, не зная всей полноты ситуации.
Возможно, парень просто брякнул, а вы чрезмерно отреагировали.
А, возможно, это такой абьюз. Он и раньше позволял себе обесценивающие вас высказывания? Если да, правильно, что бросили. Оно того не стоит: терпеть такое отношение.
Девочки, не терпите хамов и неудачников)