Любимый требует чтобы мой сын- аутист жил отдельно .. Я на распутье ..

Я мать-одиночка, воспитывающая 18-летнего сына с аутизмом.
Я знаю своего мужчину уже более 20 лет. ..
Мы проживаем на значительном расстоянии друг от друга. .
Я хочу быть с ним, и он хочет быть со мной, но он не хочет, чтобы мой сын жил с нами и мешал нам наслаждаться совместной жизнью и лишал нас удовольствия от общения друг с другом..
Он хочет, чтобы какое-то время мы были только вдвоем.
Мой сын не способен жить самостоятельно.
Может подскажете как поступить?