Как поступить в ситуации по работе?

Суть такая - летом прошлого года меня сократили из одного отдела и я ушла в другой в этой же компании. Работа второго отдела меня не очень устраивает (сама специфика), но коллектив хороший. Сейчас освободилось прежнее место в первом отделе и мне предлагают туда вернуться. Второй отдел теперь отговаривает меня от перехода - якобы куда угодно иди, но не туда, откуда тебя уже однажды попросили уйти. Не знаю, как быть