Отдых с женатым другом

Всем добрый день. Меня второй день мучает совесть. Хочу услышать мнения. Как бы кто поступил на моём месте? Расскажу ситуацию. Я не замужем, работаю и зарабатываю. Уже второй год дружу с женатым мужчиной. Познакомились в клубе по интересам и стали общаться. Человек очень общительный, контактный. Своеобразный. В друзьях много девушек, которые к нему очень хорошо относятся. Жена не против их общения, все его подруги бывают у них дома, иногда ночуют там. Он приглашает их куда-нибудь и часто выбирается на тусовки либо один, либо с подругами. Жена его сопровождает не везде, даже редко. Человек очень обидчивый и придающий большое значение доверию. Пару месяцев назад он сказал, что собирается в отпуск с нашей общей знакомой. Жена не сможет поехать из-за ребёнка, его не с кем оставить. Я очень захотела поехать с ними, он охотно согласился. С этой знакомой они общаются уже много лет и у нас с ней отношения хорошие. В общем, он спланировал маршрут. Очень увлёкся, расписывал, как будет здорово и что мы посмотрим и куда сходим. Но в последние дни начал осторожно намекать, что наша знакомая, с которой изначально они собирались, скорее всего, не сможет ехать по финансовым соображениям. Но это ничего, мы полетим и вдвоём. И вот я сказала, что не ожидала этого и не могу лететь с ним одна, так как думала, что присоединяюсь к компании. Это будет некрасиво по отношению к его жене, с которой я тоже знакома. И ещё у нас есть общие знакомые, связанные с моей работой. Он наверняка будет постить с отдыха фото, постоянно рассказывать обо всём. Он всегда так делает. Что обо мне подумают? Не хочу сплетен. В бытовых вопросах неудобно. И не верю, что жена не ревнует. Отдых планировался две недели. Что она будет думать? Он сказал, что всё понял, но больше мы не разговариваем. Я чувствую вину, хотя считаю, что её не должно быть. Знаю, что он очень хотел поехать и что с ним было бы интересно. Но вдвоём?!