Нейросеть врёт без смущения, и вот почему
Чат-бот может назвать несуществующую книгу, выдумать закон или привести цитату, которой никто не писал. Причём тон будет абсолютно уверенным. Это явление называют галлюцинациями, и оно встроено в сам принцип работы языковых моделей.
Фото: Skitter Photo, CC0, StockSnap
Как устроена нейросеть и откуда берётся выдумка
Языковая модель не хранит факты в виде базы данных. Она учится предсказывать, какое слово или часть слова вероятнее всего пойдёт дальше, опираясь на миллиарды примеров текста. Её цель: продолжить фразу правдоподобно, а не проверить истинность.
Когда в обучающих данных информации о вопросе много, правдоподобный ответ обычно совпадает с правдой. Но если тема редкая, данных мало или вопрос содержит неточность, модель всё равно продолжает фразу так, чтобы она звучала связно. Получается гладкий текст с ошибочным содержанием.
Есть и вторая причина. Многие модели донастраиваются так, чтобы отвечать полезно и охотно. Если в процессе такой настройки признание «ответа нет» оценивается хуже, чем развёрнутый ответ, модель приучается отвечать даже тогда, когда надёжных сведений нет. Исследователи считают это одной из причин галлюцинаций.
Третья причина: ограниченность знаний. Модель обучена на данных до определённого момента и без подключения к поиску не знает о более поздних событиях. Вместо честного признания она может достроить картину из похожих случаев.
Как это выглядит на практике
Типичные проявления: придуманные ссылки на источники, несуществующие научные статьи с правдоподобными названиями и авторами, неверные даты и цифры, выдуманные функции программ и ошибочные цитаты из законов.
Громкий пример известен из американской практики 2023 года: адвокат подготовил документ для суда, использовав чат-бота, и в нём оказались ссылки на судебные дела, которых не существовало. Суд обратил на это внимание, а история стала предостережением для юристов во многих странах.
Похожие риски касаются любых сфер. Студент может получить в реферате выдуманный источник. Предприниматель может доверять неверному описанию налоговой нормы. Человек, ищущий информацию о здоровье, может получить ошибочные сведения о лекарстве, и здесь цена ошибки уже выше.
Характерная черта: ошибки выглядят убедительно. Модель не колеблется, не извиняется и не сигнализирует, что сомневается. Поэтому уверенность тона нельзя считать признаком точности.
Особенно подвержены выдумке вопросы о малоизвестных людях, местных организациях, точных цифрах и датах, а также просьбы привести цитату или дать ссылку.
Как снизить риск
Первый приём: давать модели опору. Если вставить в запрос нужный текст или документ и попросить отвечать только по нему, выдумка резко сокращается. На этом принципе строятся корпоративные ассистенты, которые сначала ищут информацию в базе знаний компании, а затем формулируют ответ.
Второй приём: разрешить признавать незнание. Полезны формулировки вроде «если данных недостаточно, так и скажи» или «не придумывай источники, отмечай, где не уверен». Это не устраняет проблему полностью, но делает ответы осторожнее.
Третий приём: включать режим с поиском в интернете, если сервис его поддерживает. Тогда ответ сопровождается ссылками, которые можно открыть и проверить. Однако и здесь модель может неверно пересказать найденную страницу, поэтому ссылки нужно открывать.
Четвёртый приём: разбивать сложный вопрос на простые шаги и просить показывать ход рассуждения. Ошибку в цепочке заметить проще, чем в итоговом ответе.
Пятый приём: задавать конкретные, а не расплывчатые вопросы. Чем точнее описана задача, тем меньше простора для домыслов.
Как проверять ответы
Базовое правило: чем выше цена ошибки, тем строже проверка. Для идей к посту хватит беглого взгляда, для договора, лекарства или налоговой декларации нужна сверка с первоисточником и консультация специалиста.
Конкретные факты, цифры, даты и имена стоит проверять по официальным сайтам, справочным системам, научным базам и профильным изданиям. Любые цитаты и ссылки нужно искать самостоятельно: если найти не удаётся, скорее всего, они выдуманы.
Помогает перекрёстная проверка. Тот же вопрос можно задать другой модели или в другой формулировке и сравнить ответы. Расхождения подскажут, где копать глубже. Правда, совпадение не гарантирует истину, ведь разные модели могут повторять одну и ту же ошибку из общих данных.
Наконец, нужен здоровый скепсис к красивым деталям. Слишком гладкая история с конкретными именами и цифрами, которой нет в других источниках, повод насторожиться.
Что делают разработчики и чего ждать
Крупные компании, включая разработчиков GigaChat и YandexGPT, работают над тем, чтобы модели реже выдумывали: подключают поиск, подтягивают проверенные базы, учат ссылаться на источники и отказываться от ответа при недостатке данных. Появляются и отдельные инструменты, которые сверяют ответ с документами.
В банках, медицине и юриспруденции ИИ внедряют осторожно: как помощника, чьи выводы проверяет специалист. В службах поддержки, например маркетплейсов вроде Ozon и Wildberries, боты отвечают на типовые вопросы по готовым сценариям, а сложные случаи передаются людям.
Полностью избавиться от галлюцинаций в обозримом будущем, по мнению многих исследователей, вряд ли удастся, но частоту ошибок можно заметно уменьшать. Поэтому разумная позиция проста: использовать нейросеть как быстрого помощника для черновиков, идей и поиска направления, а в важных вопросах оставлять последнее слово за проверкой и человеком.
