Это его проблема, что у него к вам чувства.
Люди нередко склонны влюблятся в людей "помогаюших" профессий , которым предписано бережно обращаться с клиентами, у психологов такое часто, когда клиент или клиентка влюбляется в них.
Ничего страшного, это банальный голод по человеческой теплоте, но любой отказ - это боль так или иначе, это психика, это от природы, это не обойдешь никак вообще.
Еще есть такое, что человек принимает отказ, но все равно не отказывается видеть того или ту, кто отказал.
Сложный выбор, но некоторые на него согласны. Если он безобиден, то не стоит его прогонять имхо.