Не хочу, чтобы отец мужа общался с моим сыном

Всегда считала уход из семьи предательством. Получилось, что вышла замуж за человека, отец которого бросил его в возрасте 10 лет, изменил матери и ушел к другой женщине, с которой завел семью. Спустя 18 лет он развелся и со второй женой (у них тоже есть сын ,но не вполне здоровый). С тех пор он всячески пытается наладить общение с моим мужем, который по характеру человек добрый и открытый и не посылает папашу.
Дело в том, что муж очень просил ребенка, я согласилась, но поставила условие, что дед (отец моего мужа) не будет общаться с моим сыном. Теперь отец мужа всячески рвется увидеть внука, названивает моему мужу и упрашивает начать общаться, муж поддается его влиянию и тоже начинает намекать, что можно и позволить деду приходить. Но я не хочу, чтобы этот предатель приближался к моему ребенку, ему плевать на собственных детей, и к моему он не прикоснется.
Как убедить мужа, что я не желаю общения с его отцом?
Свекровь, кстати, очень люблю, она чудесная женщина и замечательная бабушка.