Коллега навязывается на обед

Достал один коллега. Вечно навязывается на обед идти вместе и главное ориентируется на меня, т.к.я руководитель. И главное подходит заранее, т.е. втихую не уйти.Если говорю что я занята и не могу пойти с ними на обед, то он говорит ничего мы тебя подождем и им пофиг сидят даже если ждать прилично.Вообщем не отмазаться никак. Я привыкла одна обедать пойти покушать включить сериал и мне так комфортно так я отвлекаюсь от работы, но когда идём все вместе начинается обсуждение работы и получается мыслями я не отдыхаю и не отвлекаюсь от работы.Как дать понять что я хочу ходить на обед одна, чтобы не обидеть и не испортить отношения?