Чувствую себя плохо, когда отказываю людям. Как быть?

К примеру, я инженер, на работе офис-менеджер, которая работает из дома, попросила меня обойти весь офис и посчитать людей. Я в запарке, занимаюсь более важной работой, у меня совершенно нет времени на это, строгий начальник требует закончить проект. Есть другие люди в офисе, которые меняя заняты, и она об этом знает. Я ей вежливо отказала, она начала упрашивать, говорить, что это не долго, я не пошла у нее на поводу, но сильно разозлилась (молча) от ее наглости, и почувствовала себя плохой, потому что ей не помогла. Иногда я выполняю просьбу в ущерб себе, чтобы не чувствовать себя плохой и потому что боюсь, что испорчу отношения с человеком или будет тяжелая обстановка, которую я не могу вынести. Иногда я отказываю, но все равно очень сильно злюсь на человека, который попросил, от его наглости.