Общение с семьей бывшего

Так получилось что с бывшим молодым человеком мы расстались, но с его мамой и сестрой мы остались в хороших дружеских отношениях, а моего бывшего бесит, не понимаю почему, ведь это дело каждого с кем общаться, тем более никак не пытаюсь настроить его семью против него.. он и своей семьей говорил не общаться со мной, и мне. Вообщем, совсем не понимаю его реакции на наше общение, ведь ему это никак не вредит. Может у кого ты были похожие ситуации? Подскажите пожалуйста как вот быть с этим