Бывший муж. Как сделать чтоб он от меня отцепился?

Развелись с мужем, после 13 лет совместной жизни. Я была инициатором развода. Не выдержала абьюзивных отношений.
И получилось так, что после развода он стал моим соседом в прямом смысле. Живёт через забор, в частном доме, так же как и я. Детей не завели, и делить нам нечего. Ему как бы нечего тут делать на моей стороне. Но, он очень часто наведывается ко мне, благо забор между нами символический.
Я познакомилась с парнем. Серьёзного там ни чего нет, просто встречаемся иногда. Хочу чтобы этот парень был у меня в гостях чаще, но из-за бывшего супруга, мой парень не хочет лишний раз наведаться, да и маячить на глазах у того кто ещё вчера был моим мужем - это как красная тряпка для нас всех троих. При чём бывший до сих пор оказывает на меня психологическое давление. К примеру, увидит что у меня в доме что-то сломалось, и начинает меня гнобить своими подколками, типо, "а что без мужика всё хреново? А твой ё@@рь что, без рук, починить не может? Вот и проси его, пусть он тебе починит..."
А я в этот момент, конечно пытаюсь дать отпор, но получается как то по дурацки, больше похоже на оправдание, чем отпор. Однажды мой парень был свидетелем разговора по телефону с бывшим, в тот момент когда тот отчитывал меня за какие-то промахи . Парню конечно это не понравилось, он даже не выдержал и сказал мне чтобы я не оправдывалась перед ним, а просто послала на....

Вот и как мне избавиться от этого, но только так, чтоб не было скандалов, угроз и мордобоя, потому что бывший муж на это способен. А я не хочу чтобы мой МЧ перестал со мной общаться из-за бывшего.