Бывшая жена моего мужа и ДР их сына

Подскажите, что делать? Мы с моим мужем познакомились, когда он уже был в разводе. Точнее, не жил с бывшей женой месяцев шесть. Она сама ушла. Они пробовали жить вместе еще до меня, но не получилось. Есть сын их общий, ему в марте исполняется 5 лет.
Мы с мужем, уже официальным, живем два года. Детей общих нет. Я была беременна, но оказалась внематочная, трубу вместе с зародышем удалили.
Когда я начала встречаться с ним, я думала, что у него с его БЖ такие же отношения, как и у меня с моим БМ-просто как друзья, но общение только по поводу ребенка (к слову, мой брак с БМ продлился 8 лет, есть ребенок, его брак с его бывшей продлился года 3 от силы). Думала, что всё нормально, расслаблялась. Все два года он регулярно, раз в месяц стабильно, пытался вернуть бывшую жену. Ездил к ней, писал ей, звонил... Всё это по пьянке, по трезвому он говорит, что любит меня и жить хочет только со мной.
Я и уходила, давала ему время на "подумать". Всё равно потом меня возвращал. Звонила после нервотрепки его БЖ, т.к именно она позволяет ему звонить ей посреди ночи, общается с ним на темы интимные (сама видела фотографии с*сей-п*сей, её в нижнем белье перед зеркалом), присланные ею. Она говорит, что она с ним в "хороших отношениях", и в таких отношениях получит больше с него (имеется в виду денег). Звонила мне сама после НГ, пьяная, говорила, что он с ней *пит и меня не любит, а её любит. Но при этом за 2 года она меняет уже 15-ть мужиков и кричит, что мой муж ей не нужен. Я стараюсь ограждаться от общения с ней, хотя с ребенком общим их у меня отношения хорошие.
Вопрос: скоро их сыну исполняется 5 лет. Они планируют устроить попойку по этому поводу. И зовут присутствовать там и мужа моего, и меня. Муж настроен идти. Говорит, если я не пойду, то, значит, развод. Значит, я понять его не могу. А кто может понять меня? Притом, я так поняла, планируется именно просто пьянка, а все эти "шалости" с БЖ муж устраивает именно в пьяном угаре...