Ок, но по отношению к внуку они не агрессивны? Если нет - пускай себе общаются!
Будут пытаться настраивать ребёнка против родителей - принимайте меры, потребуйте в сиротском суде, чтобы встречи происходили в присутствии психолога или соцработника.
Раз в неделю - не ужас ужасный. Тем более, далеко живут, наверняка не будут прям каждую неделю ездить! Ну и ребёнок может болеть, быть записан ко врачу(справка от врача в обоих случаях), ходить в бассейн(справка), и т.д.
Ну или переезжайте, как выше советовали, ещё дальше от них.
Я не вижу проблем, возможно, Вы не всё описАли.