Может он лично вас стесняется, питает чувства к вам, думает что недостоен вас, я например как парень боюсь слишком красивых девушек, боюсь привязанности, и часто отвожу глаза. Ну или может вас кто-то принизил в глазах у него и теперь не смотрит.