А почему вы сидите с ребёнком а муж гуляет? Ребёнок вообще-то ваш общий.
Не давайте себя в обиду. Женщина это не прислуга. Скажите, что тоже хотите отдохнуть и гуляйте по очереди. А лучше обговорите и наймите няню на вечер, которая раз в неделю будет с ребёнком сидеть(может, бабушки согласятся) а вы идите с мужем погуляйте.
Ребёнок ребёнком, но вся эта история про вас с мужем. Ребёнок вырастет, а вы останетесь с мужем. Ваши отношения должны быть на первом месте развивайте и поддерживайте в первую очередь их.