Друзья как ни в чём не бывало общаются с нехорошим человеком

В компании есть чел, который только ко мне относится с пассивной агрессией, вечно подкалывает и старается задеть. Со всеми другими он нормально общается, мне же ему слово сказать нельзя в свою защиту чтобы он прекратил, чтобы не нарваться ещё больше. Мы уже ссорились из-за этого и все это видели, часть людей встали на мою сторону, после чего я ушла из основной компании и стала общаться только с теми кто тогда его укорил и хоть как-то за меня заступился. Но и они после того конфликта продолжили с ним общаться дружественно, как ни в чём не бывало. При этом ко мне они тянутся чтобы поплакаться и чтобы я их морально поддержала, он же такой поддержки не оказывает, с ним общаются "за так".
Что делать? Уходить ли из такой компании?
Я понимаю, что не имею права указывать людям с кем им общаться, но свои чувства в одно место себе не засунешь - они возникают и что с этим делать, не ясно. Это очень портит удовольствие от дружеского общения.