Доносить надо один раз, спокойно и уверенно. Дальше реагировать безразличием на его негатив, пусть названивает, вы тоже человек и имеете право на свои дела. Муж не развалится от того, что с ребенком побудет.