Как отказаться от предложения в работе?

Всем привет. Расскажу вкратце. Я устроилась на работу, на обычную должность (имея высшее образование, но не имея опыта работы) год назад. Зарплата хорошая, мы практически ничем особо и не занимаемся с коллегами, а деньги идут. Я поставила себе цель что наберусь стажа для трудовой и через пару годиков схожу еще на некоторые курсы по своей квалификации (только уже для работы) и пойду на собеседования по хорошим должностям по своей специальности. Раньше я работала уже в различных программах, с документами, но к сожалению была устроена не официально так как училась в университете. По специальности меня не брали так как работа слишком сложная, нужно знать различные программы которым не обучали в институте, да и везде требуют стаж работы. Мой руководитель не очень приятный человек, часто осуждает и оскорбляет других сотрудников. Даже мои коллеги с ним огрызаются периодически. Он свалил всю свою работу на сотрудников которые работают с ним и сидит довольный. Тут он решил уволить одну сотрудницу и теперь к нему требуется человек. Зарплата та же что и у меня, график такой же, но обязанностей больше. Связана там работа с проведением документов, вести почту, выполнять различные поручения руководства , в общем все дела. У меня коллеги старше меня на 20-30 лет, соответственно вечно пинают меня мол (ищи работу лучше, тебе тут с нами не место, тебе надо выше идти). Если бы было так просто в наше время, я бы с высшим образованием не сидела у них. Тут поступило от коллег предложение мне, но я категорически отказываюсь. Что мне ответить руководителю если вдруг предложит мне? Как корректно отказаться? Работать с данным человеком я не хочу, да и какой дурак пойдет на ту же зарплату, но с большей долей обязанностей? У меня в планах обучиться программам по своей специфике и пойти в другую фирму куда-то в ближайшем будущем, но надо как-то отказаться так, чтобы это не выглядело так что я у них отсиживаюсь.