Вы себя накрутили. Плюс, правильно подметили, что он гуляка и явно флиртун. Поэтому и задерживает на Вас взгляд, сделал игривое замечание, заулыбался, как мартовский кот. Прекрасно чувствует, что Вы робеете, замечает Вашу реакцию, и это его забавляет. Я думаю, единственный вариант, это продолжать вести себя нейтрально и стараться "не робеть", не зажиматься. Просто нейтрально, дружелюбно, как со всеми, подчеркнуто корректно. С Вашей стороны не вижу никаких провокаций, а у дядьки весна.