Почему бы и не вернуться, раз незвлюбивший вас начальник уже ушел. Коллектив в приниципе субстанция текучая, раз в пять лет меняется на 99%, люди приходят-уходят. По крайней мере можно выйти на первое время, сразу как окончится декретное время, и посмотреть, как вам будет работаться. Не понравится - уйдете. Если же вы в принципе ищете повод вообще не выходить на работу и стать домохозяйкой, то обсуждать нужно с мужем и уж точно не коллектив.