Гость
Статьи
Почему ИИ иногда врёт …

Почему ИИ иногда врёт так убедительно?

Мы привыкли думать, что если нейросеть дала подробный и уверенный ответ, значит она действительно «знает», о чём говорит. Но у современных языковых моделей всё устроено немного иначе.

Когда мы задаём вопрос ChatGPT или другой LLM, модель не достаёт готовый ответ из базы знаний. Она генерирует текст последовательно, предсказывая, какие слова с наибольшей вероятностью должны идти дальше с учётом контекста.

И здесь возникает интересный эффект: правдоподобность текста и его истинность — не одно и то же.

Например, если попросить модель рассказать о несуществующем научном исследовании, она может создать название статьи, имена авторов, журнал и даже вполне убедительное описание эксперимента. Для человека такой ответ может выглядеть абсолютно настоящим.

Это называют галлюцинациями ИИ.

Причём проблема не обязательно означает, что модель «сломалась». Она оптимизирована прежде всего на генерацию полезного и связного текста, а не на абсолютную проверку каждого утверждения. Поэтому без доступа к надёжным источникам или специальным механизмам проверки модель иногда выбирает наиболее вероятное продолжение, которое оказывается фактически неверным.

Интересно, что это немного меняет наше представление об ИИ. Возможно, правильнее воспринимать языковую модель не как «электронную энциклопедию», а как очень мощный инструмент работы с информацией, которому нужна проверка фактов там, где ошибка имеет значение.

Как вы думаете, появится ли когда-нибудь ИИ, которому можно будет доверять настолько же, насколько мы доверяем калькулятору в арифметике? Или человеческая проверка всегда будет необходима?

Хотите видеть больше постов от автора?
20 ответов
Последний — Перейти
Гость
#1
потому что обучалась на комментариях местных невостребованок
#2
если он еще не народившись начал врать то что уж ждать от будущего, новые базы данных будут забиты враньем предыдущих поколений
Гость
#3
Ии с книг берет всё, и то что разрешили говорить индусы им с китайцами. Эти мультяшки скоро исчезнут.
Вжик
#4
скорей бы ии внедрился повсеместно, может быть тогда пропадут эти дураццццкие заголовки - "почему?".
Гость
#5
Потому что ты глупенькая и не можешь распознать его вранье!
Гость
#6
потому что обосновать четко какая выборка для обучения правильная не удается

кроме того у него очень маленький контекст, если сессию держишь часа 2 он уже не помнит что вначеле было

в калькуляторе алгоритм, а тут эвристика
может это и к лучшем, что ИИ людей реально заменить не может

это игрушка такая, очень ограниченым применением
Гость
#7
Просто в процессе диалога пишите: Не ***/Говори только правду. Или если фильмы там какие-то ищите и т.д. "А что из этого реально существует?" и т.д. И Вам все сразу скажут.
Гость
#8
Гость
Просто в процессе диалога пишите: Не ***/Говори только правду. Или если фильмы там какие-то ищите и т.д. "А что из этого реально существует?" и т.д. И Вам все сразу скажут.
Под звёздочками зачем зацензурили Не писdи
Гость
#9
ИИ доверять нельзя. Хотя бы потому, что даже одинаковые, по описанию, ситуации — различаются, — соответственно, и реакции (ответы, советы) по каждой из них должны быть разными
Гость
#10
И чего? Это и ежу ясно. Для самых тупых даже пишут - проверяйте ответы ИИ.
Если не проверяешь - твои проблемы. Сам виноват.
Гость
#11
Гость
Под звёздочками зачем зацензурили Не писdи
"Не пи⁣⁣⁣з⁣⁣⁣⁣ди", в смысле?
Гость
#12
Вжик
скорей бы ии внедрился повсеместно, может быть тогда пропадут эти дураццццкие заголовки - "почему?".
В анус тебе внедрится!
Мадам И
#14
Потому что у ИИ стоит запрет на ответ "НЕ ЗНАЮ".
Гость
#15
Чем вы пользуетесь, что выдает авторов несуществующих экспериментов? Нормальные коммерческие модели проверяют в интернете по нескольким независимым источникам свои ответы.
Но готовы ли вы будете платить за подписку на них?
Гость
#16
Мадам И
Потому что у ИИ стоит запрет на ответ "НЕ ЗНАЮ".
Пользуйтесь новыми моделями.

-Возможен ли ваш ответ "я не знаю", если данных не достаточно и новых нет?

Завершено размышление

Да, абсолютно возможен. Более того, это правильный и ожидаемый сценарий моего поведения.
Если для ответа на вопрос объективно не хватает данных, контекста или фактов, и я не могу найти новую информацию (например, с помощью поиска в интернете), я прямо сообщу вам: «Я не знаю» или «У меня недостаточно данных, чтобы дать точный ответ».
Это заложено в мои алгоритмы по нескольким важным причинам:

Избегание «галлюцинаций». Моя главная цель — предост...
бла бла...
Мадам И
#17
Гость
Пользуйтесь новыми моделями.

-Возможен ли ваш ответ "я не знаю", если данных не достаточно и новых нет?

Завершено размышление

Да, абсолютно возможен. Более того, это правильный и ожидаемый сценарий моего поведения.
Если для ответа на вопрос объективно не хватает данных, контекста или фактов, и я не могу найти новую информацию (например, с помощью поиска в интернете), я прямо сообщу вам: «Я не знаю» или «У меня недостаточно данных, чтобы дать точный ответ».
Это заложено в мои алгоритмы по нескольким важным причинам:

Избегание «галлюцинаций». Моя главная цель — предост...
бла бла...
Они только начали разрабатываться, поэтому особо нечем пользоваться в моей области.
Гость
#18
Мадам И
Они только начали разрабатываться, поэтому особо нечем пользоваться в моей области.
Какая же у Вас область, что LLM уже недостаточно?
Вжик
#19
Гость
В анус тебе внедрится!
вам в анус уже внедрился. ну как, не мешает?
Гость
#20
Мадам И
Потому что у ИИ стоит запрет на ответ "НЕ ЗНАЮ".
Вот прям именно эта фраза "не знаю"? Вполне возможно. А если ты имел в виду не эту дословную фразу, а вообще - то чушь, разумеется.
Гость
#21
Гость
"Не пи⁣⁣⁣з⁣⁣⁣⁣ди", в смысле?
Это фразы которые надо писать им, чтобы он сказал тебе правду
Форум: Социальная жизнь
Всего: 147 977 тем
Новые темы за сутки: 70 тем
Популярные темы за сутки: 18 тем
Предыдущая тема