Точно так же, если я не хочу встречаться с родственниками подруги или её животными, или ехать к ней за тридевять земель. "Не, к тебе мне совершенно неудобно, давай лучше в кафе, или ты ко мне". Без уточнения причин. Или, если зову к себе, то сразу оговариваю, мол, собак детей младше школьного возраста не стоит брать, у меня стройка, собака, пруд и пасека, это небезопасно. Если ты с детьми, то можем встретиться на нейтральной территории, они побегают, мы поболтаем.
Как-то так
И люди на это совершенно спокойно реагируют, так как слышат логичные аргументы - далеко, небезопасно, другие планы. А не "ой, ну мне твои близкие не нравятся"