В моем понимании, ваше прекращение общения выглядит как шантаж "либо ты приезжаешь, либо всё". У него и так сложности, вы решили еще добавить. Может человек действительно занят, нет сейчас возможности, да много разных нюансов, ему его интересы важнее, на данном этапе общения, что совершенно логично. Он не требовал от вас верности, ждать его, вы просто общались, что вам мешало продолжать общение и подыискивать кого-то другого. Во-первых, стали бы понятны перспективы конкретно с этим мужчиной, и не было бы больно за потраченное время.