Если ребенок хорошо остается и там ест и у вас место в саду на полный день, конечно оставляйте хотя бы до полдника, а лучше до занятия. Забирайте в 16:30 и не сильно поздно и у вас время освободится и ему интересней будет среди сверстников.
На счет работы - как получится в плане как будет болеть, особенно зимой. Не то что неделями, месяцами дома сидим :(