Бывшая жена мужа не даёт нам счастливо проживать семейную жизнь

Бывшая жена мужа не даёт нам счастливо проживать семейную жизнь.
На момент нашего знакомства он был уже как 4 года разведен, у них общий ребёнок девочка. Когда она узнала, что он решил построить семью, что у него уже долгие отношения, поставила ему ультиматум, чтобы его новой жены рядом с ребёнком не было. Все бы ничего. Но на дни рождения мамы, на посиделки к родственникам, на встречу с друзьями, на озеро на улицу, на праздники - везде он брал ребенка, а меня оставлял дома, аргументируя это тем, что "я не хочу, чтобы бывшая видела тебя рядом с нами, иначе она будет вставлять палки в колеса". У меня после всего этого охладели к нему чувства, я стала отдаляться от него, где-то в глубине может и остались чувства любви, привязанности, но рядом с ним находится больно, видя, как он при дочери в буквальном смысле отталкивает меня. А вот у бывшей его как раз-таки все хорошо, у неё жених, она выходит замуж, скоро переезжает, она счастлива. Но все её действия якобы из-за ребенка разрушили нашу семью. Я готова уйти от него, на пороге ухода, он хочет еще что то сохранить, когда я спрашиваю, будет все точно также, будешь меня оставлять в сторонке из-за ребенка потому что бывшая так хочет? Он отвечает, что да, это же ребенок, иначе ему не дадут с ним видится. Я понимаю, это ребенок, но разве это стоит того, чтобы так вести себя по отношению к жене. А еще после такого отношения, я переживаю, что он не будет любить нашего общего ребенка. Посоветуйте, стоит ли сохранять эти отношения, если для мужчины ребенок и хорошие отношения с бывшей в приоритете?