Дети с РАС, инструкции для взрослых!

Девочки, я заранее извиняюсь за самодиагностику, но другого выхода нет, ибо дети не мои.
Мы уже 4 года встречаемся, но вместе не живем, с мужчиной, у которого два сына-близнеца, 8 лет. У меня трое детей чуть постарше.
Отношения с его детьми очень сложные и у меня и, в последнее время, у моих детей. Подруга моя- Аспергер, диагностировала и моего мужчину и его детей под Аспергеров. Почитав об этом, поняла, что очень многое сходится. К мужчине подход нашла, говорю все ртом, в лоб и сразу. Вроде понимает и, что самое главное, старается не делать то, что может снова обидеть или ранить.
Но вот с детьми его просто атас. Так как папа считает, что они просто скромные, то никаких инструкций нет. Он их понимает, так как видит в них себя и никаких отклонений просто не замечает или не хочет замечать. Мне с ними тяжело, но еще тяжелее от реакции отца на их поведение. Но последнее время пошли напряжения и между детьми, моими и его. Мои дети говорят, что они странные, никогда таких детей не видели, что они никогда ни во что с ними не хотят играть, только сидят рядом, ходят за ними как тень и наблюдают, никогда ничего не рассказывают...
Общаемся мы с детьми не часто, один выходной в месяц, но меня это напрягает все больше и больше.
Как абстрагироваться от этого? Как не обращать внимания? Я, имея опыт со своими детьми, воспринимаю часто выходки детей мужчины, как издевательство. Хотя знаю, что не должна так реагировать. Когда мы у них в гостях, мне достаточно легко это переносить, так как это не мой дом, не мои правила, и не мои проблемы. Но когда собираемся у меня, просто сносит крышу от недоумения, порою даже злости.