В обиход идет психология. Раз парень позволяет о вас так отзываться, то вы каким-то образом дали разрешение на это. Всё индивидуально и зависит конкретно от вас. Если вас это сильно задевает, да камон, не смейте допускать к себе такого отношения. Совет вам, лучше обсудите наедине с парнем на этот счёт. Если никакого прогресса после разговора не произойдет со стороны молодого человека, смело заканчивайте отношения — люди не меняются. Всех благ.