Ухожу раньше времени с работы. Коллеги возмущаются

На работе сложилась такая ситуация: все сидят строго с 9 до 18, а я могу уйти пораньше, либо прийти попозже. Последнее время ловлю претензии в свой адрес, почему не сижу как все. А вот у меня вопрос — зачем??? У меня есть определений объем работы, который я выполняю и ухожу. Для чего мне сидеть и ждать вечера? Мне же банально нечем будет заняться. Дело в том, что я люблю работать быстро, на обед не хожу, так, на скорую руку перекусываю, на прочее не отвлекаюсь. А вот коллеги успевают и чаи погонять, и на обед сходить, и просто поболтать друг с другом, в общем просто тратят время впустую, но тянут, чтобы пробило 18 и они ушли. Вы на чьей стороне? К слову, претензии именно от коллег, начальство все устраивает.