Можно ли спать с начальником?

Добрый день, хочу обратиться за советом, может быть у когото была такая ситуация. Живу с парнем в гражданском браке почти 15 лет, детей так и не получилось завести жениться не зовет, говорит если хочешь давай распишемся, 5 месяцев назад я устроилась на новую работу специалистом. Со временем поняла что начальник оказывает знаки внимания, мне это очень нравилось, не буду врать и строить из себя святую. У него тоже есть жена и дети, в другом городе. Ему почти 50 мне чуть за 30. Стыдно писать но он меня сума сводит, даже своим присутствием. У меня такого никогда не было... не буду вдаваться в подробности но я у него была пару раз дома, и когда мы были у него он пытался меня затащить в постель, но я испугалась если честно сказала ему что он женат и я не одна, он сказал и что. Близости естественно не было. Он отвез меня домой. Молчал всю дорогу. Теперь ведет себя странно, в пепвый день спросил как дела, сказала нормально. На следующий день, начал игнорить, не смотрит мою работу, говорит оставляй, в глаза не смотрит- это так странно, дверь в свой кабинет стал открывать на распашку, а раньше закрывался и работал, а потом пришел веселый как будто у него все хорошо, даже шутил, ничего не пойму, что с ним происходит. Понимаю уже что сама дала повод. Больше всего пугает, что у меня к нему чувства и я не знаю как от них избавится. Боюсь я того что он переспит со мной и бросит, от куда я знаю что у него на уме.