Муж против того, чтобы я ехала отдыхать со своей дочерью

Я замужем 5 лет. Есть старшая дочь (она неродная моему мужу) - 9 лет и общий ребёнок - дочь 4 года. С мужем оба работаем, я хорошо зарабатываю. Со своей зарплаты отложила деньги на путешествие со старшей дочерью. У меня отпуск в июне, у мужа будет только в ноябре, да и путёвки вышли по выгодным ценам, поэтому едем вдвоём со старшей дочерью. И тут муж взбунтовался, мол, это ненормально, что мы с моей дочкой только вдвоём собрались в путешествие и что если мы поедем - он подаст на развод. С моей старшей дочкой у них с мужем отношения очень ровные, я бы сказала, прохладные, он с ней практически не общается, зато свою родную - мою младшую, просто обожает. Муж прямо упёрся в этом вопросе, сейчас со мной не разговаривает. Как стоит поступать в такой ситуации? Я давно не путешествовала, как и моя дочь, муж же в связи с работой часто ездит в другие страны, я в растерянности.