Эгоизм мужа или ему плевать?

Всем привет.Ситуация такая: Живем с мужем вместе (детей нет и он не планирует пока),бюджет раздельный.Я активный человек,очень люблю путешествовать,просвещаться,открывать что-то новое и интересное.В отпуск я всегда стараюсь уехать в путешествия (отпуск приходится разбивать по 5-7дней,по работе больше не отпускают).Всегда зову мужа с собой,но он всегда отказывается (на работе его могут отпустить в любой момент,отпуск будет оплачиваться).Спрашиваю у него "не против ли он моей поездки?" Он всегда отпускает (знает подругу,с которой я еду (подруга замужем,едет тоже без мужа.Муж ее спокойно отпускает).Как только я уезжаю,он выставляет все это так,будто он не отпускал меня,я уехала и бросила его. Что мне делать? Сидеть в 4ех стенах-это не вариант (у него была любовница, сейчас вроде не общаются (знаю что она беременна и всем говорит,что от него. На днях она долдна родить).Я раньше всегда дома сидела,никуда не ездила,занималась домом (он скащал, что кухарка и домоработница ему не интересны).Я взяла себя в руки,начала снова просвящаться (другие города и страны,активный отдых)-ему опять не то. Что мне делать?почему он так себя ведет?как его поведение то объяснить? Сам не едет со мной,отпускает меня и делает потом виноватой (типа я его оставила одного). При этом он может ездить куда хочет и когда хочет и я не должна требовать с него отчета никакого. (Я один раз отказалась от поездки,он отпуск взял,так он взял и с друзьями уехал на несколько дней и меня тупо поставил перед фактом. А я дома одна просидела весь отпуск).как объяснить его поведение??? С подругами вроде отпускает на встречи (но вечером домой),все время "подкалывает и язвит" на счет подруг. Про поездки в другие города говорит: "я не против, но если поедешь-домой можешь не возвращаться,ты променяла семью на поездки". С детьми тянет время.
Как его понять, и что он хочет???? Как понять его поведение.