Мужчины они загадка

Несколько лет назад познакомилась с мужчиной, был секс без обязательств, приятное времяпровождение для двоих. Постепенно встречи сошли на нет, спустя несколько лет сложилось так, что стали работать в одной организации, он руководитель, я исполнитель, но прямой подчиненности не было. Была не против возобновить разовые встречи, он сторонится, я рассудила нет так нет, общение только по рабочим вопросам, я к нему исключительно на вы, дальше наши пути разошлись. Спустя два года, стала руководителем отдела, он приезжает по работе в другое подразделение, в кабинет идёт мимо моего, и каждый раз заходит, спросит или скажет какую-то незначительную фигню и уйдёт. Вроде и не проявляет себя никак, а вроде и что-то баломутит во мне. Как понять его поведение?