Связь с бывшим женатым начальником

Я хотела посоветоваться, может у кого была такая ситуация. Я встретилась с бывшим начальником, мы напились и занялись сексом. Он женат, живет в другом городе. Я его не видела месяц, он несколько раз звонил мне, но мне становилось не ловко. Я стараюсь быстро закончить разговор и кладу трубку. Я себя не понимаю, я его стесняюсь, я не хочу ему ничего рассказывать и мне тоже не интересно, что у него происходит. У меня мысли, что я так с ним себя веду, потому что до сих пор воспринимаю его как босса, я даже из себя выдавливаю говорить с ним на ты. Одна мысль вообще никогда не встречаться и не общаться. Мне так и кажется, что мне будут делать замечание и что лишнего ничего не сболтнуть, мы раньше так с ним работали. Типа босс у нас все ок, проблем нет и улыбались. А проблемы решали сами, чтоб он ничего не знал. У кого нибудь так было?