Погодите, вы хотите уйти от мужа только потому что он очень любит внука?
Некоторые мужики обожают внуков и это нормально (бывают даже такие, которые с прохладцей к детям, но внуков от них любят без ума). У него еще и бесплодность, конечно он свое потомство будет любить. Видит же что род продолжил.
Вам с выводами погодить надо и не рубить с плеча.