Уважаемый автор, действительно, странная и запутанная история. Думаю, что изнутри она кажется еще более непонятной.
Есть несколько фактов. Длится история уже 3 года. По вашему описанию, поведение парня кажется чудоковатым, много "выходок". При этом, вы сейчас полностью принимаете ситуацию, в которой поставили себя в зависимость от него. То есть от его поведения зависит то, встречаетесь ли вы с кем-то или нет. Он отказывается от прямого контакта и встреч. При этом вы много думаете о нем, пытаетесь распутать эту историю и еще больше "прилипаете" к нему своим вниманием и мыслями. Вся история опутана недомолвками, непроясненными отношениями и похожа на сказку. Не прояснены отношения парня с двумя девушками, но вы также за эти годы не выяснили, что происходит, хотя бы женат ли он или нет.
Возможно имеет смысл бросить разгадывать эту головоломку, начать заниматься реальными отношениями с реальными людьми.

Ева, вы до сих пор, хоть и в фантазиях, продолжаете с ним отношения. Уже целых 5 лет подпитываете его фантом своим вниманием и мечтами и живете "в том моменте". Важно осознать, что никаких отношений не было. Часто флирт, даже откровенный, ничего не значит. Тем более, что в вашей истории мужчина точно знал, что для него всё абсолютно безопасно (с ваших слов, вы на него не претендовали). Так что мог флиртовать по полной. И неизвестно, чем кончилась бы история 5 лет назад. Очень вероятно, что ничем. А сейчас вы живете в иллюзии, что это по вашему желанию отношения не развились тогда в мега-счастливую историю, а не потому, что это был всего лишь офисный флирт. Судя по всему он вам тоже нравился. А для начальника важно не портить отношения с подчиненным. Он мог и подыгрывать вам. В общем, если поймете, что ничего серьезного между вами быть не могло, то отстанете от его "светлого образа".