Дети не хотят играть с сыном

Мамы, подскажите, как правильно разговаривать с ребенком в ситуации. Сын 4 года, живем в частном секторе, по соседству живут девочки 5,6,7 лет. У нас во дворе стоит площадка и они приходят играть с сыном. Но как только он просится к ним во двор, то они сразу его прогоняют, а он расстраивается и со слезами к ним просится. Или мы играем во дворе вдвоем спокойно, а они приходят со словами, что там у себя играют, дразня его, он бежит к ним и они сразу говорят, что не хотят играть с ним. Я на эмоциях говорю сыну, чтобы не унижался и не напрашивался к ним, и когда будут к нему проситься, чтобы не пускал. А он расстроенный говорит, что ему нравится с ними играть. Понимаю, что что-то не так в моем поведении есть. Как правильно поступать в сложившейся ситуации?