Как прекратить общение с бывшим?

Работаю с родственниками и бывшим в одной организации, и вышло так, что он сам со мной прекратил общение, вернулся к бывшей, но спустя пол года он начал заново со мной общаться и пытаться усидеть на двух стульях. Мне не приятно с ним общаться, но когда я ему явно об этом знать, он начинает подставлять родственников на работе и делать различные гадости, поэтому кое как общаюсь, но мне дико невыносимо. Работа очень нужна и нет возможности всем ее сменить. Как выйти с этой ситуации с минимальными потерями?