Не могу наладить общение с бывшим после развода

Я всегда была против общения с бывшими мужчинами.
Но в этом случае у нас ребёнок, это общая территория и я, как разумный человек, пытаюсь сделать всё, чтобы не страдала связь отец-ребёнок.
Бывший муж тоже вроде как нормально общается, но на деле в мою сторону не прекращается поток пасивной агрессии. Он постоянно задевает меня, стандартная фраза в нашем разговоре: "Пусть Петенька побудет у меня в выходные, хоть поест нормально" или сочувственное "Ну да, ты много работаешь, тебе ребёнком некогда заниматься, понимаю". И такие вещи я слышу постоянно. Хотя я и работаю и с ребёнком успеваю. Обычно я держу лицо, считаю, что это ерунда. Но внутри накапливается и я иногда взрываюсь и начинаю спорить. В итоге меня выставляют истеричкой, которая при ребёнке устраивает разборки (без ребёнка мы, естественно, не видимся и не общаемся).
Не знаю, что мне делать. Была бы моя воля, я бы этого человека знать бы больше не знала, но ребёнок... Приходиться контактировать с его отцом. А тот, похоже, только и ждёт моей новой реакции. Это отравляет мою жизнь. Иногда хочется быть стервой, запретить всё общение и выкинуть этого персонажа из своей жизни. Да, буду сволочью, но со спокойными нервами. Как быть, как себя защитить?