Мужчина расстался с женщиной, потому что мы влюбились, но я не могу решиться на отношения

Такая проблема. Работаем давно вместе с одним мужчиной, общались по работе часто, на корпоративах тоже в основном друг с другом. У нас ничего не было, потому что он был женат, то есть, любовницей никакой я не была и сразу знала, что пока мужчина женат, этого никогда не будет, из принципа. Тем более, чаще всего женатики никаких женщин на стороне вооьще не любят, им нужен просто слив, они пудрят мозги, что якобы разводятся скоро и тд, это все я знаю, но дело в том, что этот пример не классический. По нашему общению и его заботе я понимаю, что он влюблен, и недавно он действительно завершил свой развод, подтвердив это. Он признался жене, что влюблен в другую женщину, вроде бы честно, человек никого не стал обманывать, я не участвовала ни в чьей измене, но чувствую себя все равно плохо. Несмотря на то, что поступил он здесь честно, решиться на отношения с ним я не могу, ведь всем будет плевать, была ли я в любовницах пока он жену обманывал, или он сначала расстался, и только потом. Да, у меня чувства, но ведь это сразу удар по моей репутации в глазах всех, особенно рабочего коллектива, к тому же. Я уже собираюсь плдать заявление на увольнение и искать новую работу, но как пережить то, что я отказала любимому человеку из-за страха получить клеймо «разлучницы»? Мне плохо, я стала чаще выпивать, но разрушить на корню свою репутацию я не могу. Тем более ведь любовь, даже если она настоящая, может закончиться, а репутацию испорченную не восстановить, что думаете?