Большая разница между физическими и умственными изьянами. Человек с физическими проблемами может быть гением и полноценным членом общества, вроде Стивена Хокинга, и косо сиотреть на них могут только тупые маргиналы. А умственная отсталость означает, что человек не станет полноценным членом общества, а наоборот, иждивенцом. Грубо говоря, он потребляет ресурсы, которые не способен заработать сам, и содержать его приходится здоровым. Отсюда и раздражение и неприятие в обществе людей с задержками умственного развития.