Муж обвиняет меня, что не общается с ребёнком от прошлого брака

С мужем женаты три года, у него есть дочь от первого брака 9 лет. Когда мы начали встречаться он был в разводе и уверял, что отношения закончены, только общается с ребёнком. Он приезжал к ребёнку несколько раз в неделю с ночёвкой ( говорил что спит в кроватке с дочкой). Через какое-то время уговорил жить вместе - съехались но с условием что ночевать у бывшей жены больше не будет. Когда бывшая жена узнала о моем существовании, поставила условие что дочка ни при каких условиях со мной знакомиться не должна и если он хочет ее видеть то должно быть все как прежде ( ночевать у них несколько раз в неделю и чтобы обо мне ни слова). Я ему сказала, что это неприемлемые условия. После этого бывшая жена ни разу не дала увидеть ребёнка. Мы поженились все было хорошо , но сейчас возникла новая проблема , при ссоре он мне высказал что из-за меня он больше не общается с ребёнком, что я виновата в том что была против ее условий. Но разве он не понимает что ночуя то с ними то со мной он создаст две несчастные семьи. Предлагала ему вернуться обратно или разойтись чтобы он мог спокойно проводить там дни и ночи. Но он против. У меня постоянное чувство вины, но я сойду с ума отпускать мужа с ночевками к чужой женщине. Посоветуйте как поступить? И да, он на протяжение всего времени пытался наладить контакт и пообщаться с девочкой но ее мать ни разу не разрешила.