Возможно, в общении с вами, ему показалось, что именно вы не очень заинтересованы им. То, что вы ожидаете постоянной инициативы от него и не проявляете её сами, как раз об этом и говорит.
Вы что, тресните, если придумаете какую-нибудь тему для диалога и начнёте его? Вам не интересно узнавать человека? Не интересно спросить, как проходит его день, что ему нравится и т.д.? Почему инициатива постоянно должна исходить от одного человека, в данном случае, от мужчины? Почему только он должен проявлять к вам интерес? Общение - это 50/50 и никак иначе.
Да и не многовато ли вы ожиданий возлагаете на человека, с которым даже не перешли на «ты» ?