Бывшая жена уже не чужая им женщина, а ее сын ей внук. Так что это норма, прийти на др своей бабушки.
Вы как я поняла не женаты ним. Если вас официально не представляли маме как нынешний партнер в серьезных отношениях, то это не удивительно, что вы не исправляли с ними.