Конечно, реагировать обязательно, они вам и так на шею сели. Вы вообще не обязаны сидеть с внучкой, вы своего сына уже вырастили. Родили - вот пусть и занимаются. Не надо был давать деньги, вот в этом ваша главная ошибка. То, что делается изредка, воспринимается как большой дар, а то, что регулярно - как обязанность с Вашей стороны.