⭐ ✨
📖 Словарь блога

Галлюцинации нейросети: что это простыми словами

Галлюцинация – это ответ нейросети, который звучит уверенно и правдоподобно, хотя не соответствует действительности. Модель может выдумать цифру, цитату, ссылку, статью закона или целую книгу и подать всё это тоном энциклопедии. Причина в устройстве: нейросеть пишет самый вероятный текст и сверяться с базой проверенных фактов не умеет.

Почему нейросеть выдумывает

Языковую модель учили угадывать следующее слово. Частые вещи вроде «столица Франции – Париж» она видела миллионы раз и тут почти не ошибается. Редкую цифру из отчёта она могла не видеть вовсе, и тогда достраивает ответ по шаблону, как обычно выглядят такие цифры. Снаружи правда и выдумка выглядят одинаково, и уверенный тон ничего не говорит о точности.

Anthropic в своей документации прямо признаёт, что даже самые продвинутые модели, включая Claude, иногда пишут фактически неверный текст. Приёмы защиты сокращают такие ошибки, и компания отдельно предупреждает, что полностью они их не убирают.

Как это выглядит в жизни

В статье нейросеть выдумывает факты есть показательный случай. Для поста про продажи нейросеть выдала статистику: «по данным исследования Гарвардской школы бизнеса 2021 года, 68% клиентов уходят из-за равнодушия продавца». Проверка показала, что такого исследования Гарварда нет, и цифра 68% гуляет по интернету лет двадцать без нормального первоисточника. Модель взяла правдоподобное и приклеила к нему громкое имя.

Ещё коварнее выдумка о себе. Вы кидаете ссылку на свой сайт нейросети с выключенным поиском. Она всё равно бодро отвечает, что заголовок сильный и блок отзывов стоит поднять выше, хотя страницу даже не открывала. Самые опасные зоны – цифры, ссылки, законы, цены и свежие новости, их проверяйте руками всегда.

Как защититься: приёмы, которые работают

Первый приём – разрешить ответ «не знаю». Anthropic пишет, что прямое разрешение признать неуверенность сильно сокращает ложные ответы. В статье из блога для этого есть готовая страховка в начало чата: «Если ты не уверен в факте или данных нет, прямо скажи „не знаю“. Не придумывай цифры, исследования, цитаты, имена и ссылки».

Второй приём – работа по документу. Дайте нейросети свой материал, попросите отвечать только по нему и к каждому утверждению приводить дословную цитату. Если подтверждающей цитаты нет, утверждение убирается: так Anthropic советует проверять тексты по документам. Когда ответы нужно опереть на ваши регламенты и прайсы, помогает RAG.

Третий приём – перекрёстная проверка. Задайте тот же вопрос несколько раз или в другой нейросети, и расхождения в ответах покажут, где модель сочиняет. Подробно этот приём и все 12 готовых промтов против выдумок разобраны в той же статье.

Где почитать подробнее

❓Частые вопросы

Почему нейросеть врёт и выдумывает факты?

Она угадывает самое вероятное продолжение текста, и базы проверенных фактов у неё внутри нет. Когда знаний не хватает, модель всё равно выдаёт гладкий ответ, похожий на правду. Отсюда выдуманные цифры, цитаты, ссылки и законы, которые звучат так же уверенно, как настоящие сведения.

Можно ли полностью избавиться от галлюцинаций?

Убрать их до конца нельзя ни в одной нейросети. Даже Anthropic пишет, что приёмы защиты сокращают выдумки и не устраняют их совсем. Снизить их число в разы помогают свои документы, разрешение ответить «не знаю», цитата к каждому факту и поиск в интернете. Цифры и законы всё равно проверяйте руками.

Какие ответы нейросети проверять в первую очередь?

Начните с цифр, дат, имён, цитат, ссылок, статей законов, цен и свежих новостей. В этих местах выдумки встречаются чаще и обходятся дороже: неверная цифра в посте или несуществующий закон в договоре бьют по доверию к вам. Ссылки открывайте сами, законы сверяйте с официальным текстом.

Источники

🎁 Два бесплатных курса

Приглашаю пройти бесплатный курс по нейросетям

Выберите, что вам ближе. Оба курса бесплатные, с пошаговыми уроками и без воды.

🧲
Клиенты с помощью нейросетей
Как привлекать заявки и клиентов через нейросети и простые воронки.
Открыть курс →
💰
Деньги с помощью нейросетей
Как зарабатывать на нейросетях: от первых навыков до стабильного дохода.
Открыть курс →
Это бесплатно и ни к чему вас не обязывает