Гость
Статьи
Почему ИИ иногда врёт …

Почему ИИ иногда врёт так убедительно?

Мы привыкли думать, что если нейросеть дала подробный и уверенный ответ, значит она действительно «знает», о чём говорит. Но у современных языковых моделей всё устроено немного иначе.

Когда мы задаём вопрос ChatGPT или другой LLM, модель не достаёт готовый ответ из базы знаний. Она генерирует текст последовательно, предсказывая, какие слова с наибольшей вероятностью должны идти дальше с учётом контекста.

И здесь возникает интересный эффект: правдоподобность текста и его истинность — не одно и то же.

Например, если попросить модель рассказать о несуществующем научном исследовании, она может создать название статьи, имена авторов, журнал и даже вполне убедительное описание эксперимента. Для человека такой ответ может выглядеть абсолютно настоящим.

Это называют галлюцинациями ИИ.

Причём проблема не обязательно означает, что модель «сломалась». Она оптимизирована прежде всего на генерацию полезного и связного текста, а не на абсолютную проверку каждого утверждения. Поэтому без доступа к надёжным источникам или специальным механизмам проверки модель иногда выбирает наиболее вероятное продолжение, которое оказывается фактически неверным.

Интересно, что это немного меняет наше представление об ИИ. Возможно, правильнее воспринимать языковую модель не как «электронную энциклопедию», а как очень мощный инструмент работы с информацией, которому нужна проверка фактов там, где ошибка имеет значение.

Как вы думаете, появится ли когда-нибудь ИИ, которому можно будет доверять настолько же, насколько мы доверяем калькулятору в арифметике? Или человеческая проверка всегда будет необходима?

Хотите видеть больше постов от автора?
11 ответов
Последний — Перейти
Гость
#1
потому что обучалась на комментариях местных невостребованок
#2
если он еще не народившись начал врать то что уж ждать от будущего, новые базы данных будут забиты враньем предыдущих поколений
Гость
#3
Ии с книг берет всё, и то что разрешили говорить индусы им с китайцами. Эти мультяшки скоро исчезнут.
Вжик
#4
скорей бы ии внедрился повсеместно, может быть тогда пропадут эти дураццццкие заголовки - "почему?".
Гость
#5
Потому что ты глупенькая и не можешь распознать его вранье!
Гость
#6
потому что обосновать четко какая выборка для обучения правильная не удается

кроме того у него очень маленький контекст, если сессию держишь часа 2 он уже не помнит что вначеле было

в калькуляторе алгоритм, а тут эвристика
может это и к лучшем, что ИИ людей реально заменить не может

это игрушка такая, очень ограниченым применением
Гость
#7
Просто в процессе диалога пишите: Не ***/Говори только правду. Или если фильмы там какие-то ищите и т.д. "А что из этого реально существует?" и т.д. И Вам все сразу скажут.
Гость
#8
Гость
Просто в процессе диалога пишите: Не ***/Говори только правду. Или если фильмы там какие-то ищите и т.д. "А что из этого реально существует?" и т.д. И Вам все сразу скажут.
Под звёздочками зачем зацензурили Не писdи
Гость
#9
ИИ доверять нельзя. Хотя бы потому, что даже одинаковые, по описанию, ситуации — различаются, — соответственно, и реакции (ответы, советы) по каждой из них должны быть разными
Гость
#10
И чего? Это и ежу ясно. Для самых тупых даже пишут - проверяйте ответы ИИ.
Если не проверяешь - твои проблемы. Сам виноват.
Гость
#11
Гость
Под звёздочками зачем зацензурили Не писdи
"Не пи⁣⁣⁣з⁣⁣⁣⁣ди", в смысле?
Предыдущая тема
Игра «Ромашка»
Ромашка
Вы разгадали:
0/0