Ревную к бывшей жене

Всем привет! Очень нужен совет, может, кто-то сталкивался с такой ситуацией.
Встречаемся с мужчиной год, живём вместе 4 месяца. Они были вместе 11 лет, женаты 7 лет, есть дочь, у меня сын от первого брака. Они в разводе уже 5 лет.
В начале отношений мужчина очень много рассказывал о бж. В нем говорила обида, потому что, по его рассказам, он много сделал для семьи: купил квартиру, несколько машин поменяли, шубу подарил, возил отдыхать, а она его бросила, когда начались трудности на работе, и ушла к другому. Я из-за этих рассказов себя сильно накрутила, что у него до сих пор есть чувства к бж, раз забыть не может, начались скандалы.
Сейчас он начал нас с ней сравнивать. Всё это происходит, естественно, в ссорах. Может сказать, что она для семьи, а я нет. Что она классный мастер (она наращивает ресницы, у нее своя студия), зарабатывает по 300 тыс, а мой магазин косметики, который я только открыла, провальный и закроется через полгода. А недавно назвал меня не красавицей, а у нее "нормальная внешность".
Оговорюсь, что это всё происходит в ссорах, а так у нас замечательные отношения, он сделал мне предложение, подарил кольцо, помогает материально в моем бизнесе, в сексе всё отлично. Говорит, что любит меня, как никого и никогда. Что только со мной он начал счастливо жить.
Мне очень тяжело. С одной стороны, я его люблю и хочу быть с ним. С другой стороны, мне кажется, что он не забыл первую жену и постоянно нас с ней сравнивает. Получается, что, когда у нас хорошо, там было плохо, когда у нас плохо - там хорошо.
Его мама во всем меня поддерживает. Я ей нравлюсь, в отличие от бж. Она меня всегда успокаивает, говорит, что жили они плохо, он все придумывает, она его часто выгоняла из дома, с ней он сильно пил, сейчас не пьет совсем и т.д.
Сам мужчина говорит, что мне просто надо было быть мудрее, дать ему время, чтобы он забыл прошлый брак, а также дать ему просто выговориться.
Как мне быть? Мне очень тяжело, самооценка на нуле. Неужели вторым женам всегда так нелегко?