Вы не научились поворачиваться лицом в монитор и щёлкать по клавиатуре?) Я серьезно. Если не помогло - то наушники в уши вдобавок (если работа это позволяет, конечно). Для вежливости можно улыбнуться и сказать - извините, ухожу в работу. Дальше он должен свалить, если совсем не идиот. В любом случае, пусть сидит сам с собой разговаривает.
Я сама иной раз люблю прийти к коллегам поболтать недолго, но как только вижу, что человек начинает поглядывать в монитор чаще, чем на меня, ретируюсь. Явно же человек занят в этот момент.