родители мужа, в разводе они, нет, в новых браках, сожительствах, не важно, бабушка и дедушка ребенка
Поэтому вот это "надо посещать внука....хотя бы с сожителем своим. А тут бывший муж ..." вообще не понятно....
Ключевое тут - согласование визитов
Если мужа предупредили бы проживающие мирно вместе его родители, плюс, допустим, его сестра и племянник, то у вас не было бы вопросов?