Роман с руководителем. Быть или не быть?

3 года назад устроилась в организацию на декретную должность гл.бухом. Коллектив не большой женский, дружный. Директор на 10 лет меня старше. Первое время - частые корпоративы, собирались семьями. В работе ровно, сказал что хотел бы, чтобы я работала у них и после декретного замещения. В коллективе говорят, что я первый гл.бух с которым у него нет ни одного конфликта. С глазу на глаз он часто начинал разговор на отвлеченные темы - смеялся, шутил, интересный человек. Он женат, двое детей. Семье ничего не жалеет, купил жене машину за 2 млн., строит дом. Полгода как-то жил на работе, все знали, он ночевал в подсобке, сплетничали, но мол ссылались на то, что сторожа у нас сейчас нет и он так свое "дело" охраняет, он может. В этот период мог написать мне в ватсап ночью "вы что там не спите?". У меня бывает бессонница, поэтому торчу в телефоне иногда. Повода не давала. Полгода назад мы с ним поехали в командировку. Приехали в пятницу, ждали понедельника. Он показывал мне город, музей, рестораны, кино - я так интересно время давно не проводила. Он симпатичен, я смущалась. Были моменты, когда я думала "что происходит?", когда он смотрел как-то не так, брал за руку, говорил комплименты, попросил называть его по имени и, чтобы он называл меня так же. В последний вечер сделал неожиданное признание "я давно тебя люблю". У нас даже случился поцелуй. Я убежала в свой номер со словами "у вас семья, а у меня муж". Обратно ехали молча. По приезду, он сказал, что снова уедет, сказал "очень тебя прошу ничего не делай, заявление я не подпишу". Будто знал, что я думаю об увольнении. С тех пор на работе бывает редко. Все вопросы через ватсап. На днях приехал в контору в обед. Я была одна. Спросил прямо "буду ли я с ним?". Я против из-за его семьи. С мужем у меня все плохо, и детей нет. Написала заявление. Выкинул "не надо, я понял, я все решу". Если бы не его семья, или он был бы уже разведен, то согласилась бы. А так.. неправильно. Могу сама оформить себе увольнение. Или я не права?