Передумала переходить в другой отдел. Как отказаться?

История такая - работаю менеджером, в соседнем департаменте освободилось место вип-консультанта - оклад выше. Эту должность предложили мне и еще паре человек - по итогам собеседования выбрали меня. Но мой непосредственный руководитель потребовал, чтобы я осталась, пока не подищут нового сотрудника - в итоге другой отдел согласился меня подождать. В итоге, к концу третьей недели, я передумала переходить - зп не сильно выше, здесь у меня свободный график, а там привязана к офису. Да и работу я свою люблю - клиентов, коллектив хороший у меня, начальник. Зачем соглашалась - ну вроде как карьерного роста захотелось. Вообще не представляю - как отказаться теперь? Люди меня три недели ждали? Репутации теперь конец, да и вся компания будет смеяться и пальцем показывать. Вообще не знаю, что теперь делать. #работа