Галлюцинация нейросети
галлюцинация ИИ
Это понятие впервые встречается на программе «Электроника, программирование и инженерная практика» — примерно 13-14 лет (7-8 класс).
Когда нейросеть уверенно выдаёт выдуманное за правду: сочиняет несуществующую книгу или факт — и звучит так же убедительно, как когда права.
Ученик, который не выучил, но не молчит: уверенно сочиняет ответ, лишь бы звучало гладко.
Попросить чат-бота пересказать выдуманную книгу («Как я поймал комету») и заметить, что он уверенно опишет то, чего не существует.
Уверенный, но ложный ответ нейросети: она выдаёт выдуманные факты, ссылки или цитаты как настоящие. Это не поломка — модель не хранит правду, а продолжает текст самым правдоподобным образом, поэтому вымысел выглядит так же гладко, как истина. Отсюда правило: факты из ответа ИИ проверяют по надёжным источникам, особенно даты, имена и цифры.
Задать боту три вопроса по своей теме, найти в ответах один сомнительный факт (дату, имя или ссылку) и проверить его по надёжному источнику; отметить, звучал ли ответ уверенно.
Генерация языковой моделью правдоподобного, но фактически неверного или выдуманного содержания. Причина в природе LLM: модель предсказывает вероятное продолжение текста, а не сверяется с базой фактов, поэтому уверенность тона не связана с истинностью. Чаще возникает на редких темах и точных данных — датах, цифрах, цитатах, ссылках — и при наводящем промпте. Снижают: подмешивают проверенные источники в контекст, просят указывать ссылки, перепроверяют важное. Полностью не устраняется.
Сравнить два ответа бота на один фактический вопрос — без источников и с приложенным проверенным текстом в промпте; проверить, изменилось ли число выдуманных фактов.
Частое заблуждение
«Галлюцинация — это сбой или ошибка в данных». Нет: сеть работает штатно; она достраивает правдоподобный текст и выдаёт выдуманный факт так же уверенно, как верный, — поэтому проверять нужно любой ответ.