Если Вы ездите к родным разумное количество времени, не в ущерб нынешней семье и не проводите с родными времени, чем с собственным мужем - то ездить нормально и никто не вправе Вам запрещать
Если Ваши поездки в ущерб семейной жизни и ребенку - муж обязан вмешаться, если он разумный муж и его семья ему дорога
Может, не запрещать, а разумно поговорить и принести свои аргументы, раз жена сама не понимает
Разумная жена послушает.
Как у Вас - Вам виднее
Если муж просто самодурус вульгариус (самодур обыкновенный) - то он самодур обыкновенный и будет запрещать просто все, что ему не нравится
Кто Ваш - Вам должно быть виднее