Скорее всего вы ему неприятны были и есть. У парней все проще - не нравится, значит не нравится, он и не будет этого скрывать. Это девки любят напридумывать себе несуществующих любовей, а потом переживать из-за них.
Забейте на него и живите спокойно. На ваш век парней хватит и без него.