Работайте спокойно, вежливо общайтесь с ним в рамках решения рабочих вопросов и не забивайте себе голову чужими тараканами. Говорит "нравится только общаться", значит, так и есть, чё додумывать-то? Ему просто прикольно, что из-за него, солнцеликого и лучезарного, барышня выходит из душевного равновесия, переживает и тд.
Нужен взгляд со стороны - почему мужчина так себя ведет? У меня уже начинаются проблемы с самооценкой из-за такого его поведения.