Вы ему не нравитесь. А почему он так с Вами ведёт вариантов может быть несколько. Не нравитесь, но желает быть прямолинейным, возможно щадит Ваше самолюбие. Не нравитесь, но не хочет терять Вашего обожания и надеется иметь Вас запасным аэродромом.
В любом случае для Вас есть повод задуматься, хотите ли Вы общаться с равнодушным к Вам человеком....Если бы нравились , да после Вашего признания мужчина от радости горы бы свернул, а не морозился и не оттягивал разговор.