Проблемы с коллегой

Добрый день, у меня следующая проблема: непонятные претензии со стороны коллеги по работе. Дело в том, что он постоянно ищет способ поругаться. Он - мужчина, я девушка, младше его лет на 10-15. Я чувствую, что он все время старается меня на что-то спровоцировать, хотя вначале нашего общения, говорил, что «таких, как ты я не встречал». У нас отношения обычные, я стараюсь держать нейтралитет. Например, я ушла на полчаса в другой корпус, по работе, возвращаюсь, он предъявляет претензии, куда ты ходила? Почему не на рабочем месте? И повышает иногда голос, старается спровоцировать конфликт. Я не поддаюсь, хотелось, бы просто понять в чем причина и как себя вести, чтобы не поддаться. Спасибо!