Парень не принимает мою дружбу с бывшей свекровью

Подскажите как быть в такой ситуации. Я вышла замуж в 19 лет, 11 лет прожили с мужем, развелись, есть общий ребенок, сохранили нормальные отношения ради ребенка. С его родными: мамой, братом и женой брата, племянником у меня очень теплые и близкие отношения и после развода. Его мама живет за городом в большом доме, мы всегда семьями собирались там на выходных и праздниках, и сейчас я продолжаю туда ездить с ребенком. Так сложилось, что я сирота, у меня не было родителей, только бабушка, сейчас я ухаживаю за ней (у бабушки деменция) и бывшая свекровь мне очень помогает с ней, забирает к себе на неделю-две, если мне нужно уехать из города по делам или в отпуск. И вообще во всем я чувствую поддержку от этой семьи. Уже год я встречаюсь с молодым человеком, он негативно относится к тому, что у меня такие отношения с родственниками бывшего, говорит, что никогда не сможет с ними общаться, но и я не могу оборвать это общение, мне это очень тяжело. Вопрос что делать в такой ситуации, или я что то делаю неправильно? Вообще есть такие мужчины, которые смогут принять такую часть моей жизни?