Проучить женатого

Здравствуйте. Такая ситуация...в общем устроилась на работу пол года назад, есть женатый коллега. Изначально общались по работе, со временем очень сблизились. Мы очень похожи с ним, очень много общего. Не могли оторваться друг от друга на работе ( в плане общения). Постоянный флирт между нами, общение в переписке после работы, но инициатива всегда с его стороны. В общем я поняла, что он мне нравится, но продолжения быть не может, т.к. человек женат. Я поговорила с ним и попросила, чтобы мы общались только по работе. Так как мне очень тяжело и я переживаю. А он сказал "так ничего же не было, это просто общение у меня такое, что ты придумываешь, я женат" и это все было преподнесено в такой грубой форме, у меня прям все оборвалась внутри. Я же понимаю, что с его стороны были знаки внимания, постоянная инициатива в общении, очень личные разговоры. "Ты очень классная, если бы я не был женат, то ..." постоянно слышала такие фразы, либо что-то подобное. Рассказывал про свою жизнь. Они с женой 10 лет вместе, он очень хочет детей, но у них не получается. И он очень переживает по этому поводу. Говорил что никогда не изменял жене.
В общем после этого мы перестали общаться. Я ушла в отпуск и меня немного отпустило. И тут опять начались от него сообщения. Написал что хочет меня увидеть. Чуть ли не собрался приехать ко мне. Я пишу зачем ты опять всё начинаешь, а он "ну я же просто подружески"....хотя я очень хорошо умею различать где дружба, а где нет.
В общем в итоге мы встретились с ним один раз, пообщались ни о чем. Но в конце обнялись. Потом он мне написал, что ему очень понравилось со мной обниматься. И тут я офигела: он предложил так встречаться периодически, но естественно, чтобы никто об этом не знал. Как поступить в этой ситуации? Для чего ему скачала всё отрицать, но в итоге опять проявлять инициативу. Мне так больно было от тех его слов. Естественно я с ним никаких отношений не хочу, т.к. он женат. Но хочу чтобы он понял какого было мне.