Один запрос, несколько нейросетей и разные ответы

Один и тот же вопрос, заданный разным чат-ботам, даёт заметно непохожие тексты. Различаются стиль, длина, точность фактов и даже уверенность тона. Разобраться, почему так происходит и как выбрать подходящий вариант, можно простым самодельным тестом.

Фото: Negative Space, CC0, StockSnap

Почему ответы вообще различаются

Языковая модель не достаёт готовый ответ из базы, а на лету подбирает слова, которые вероятнее всего продолжат текст. Даже одна и та же нейросеть, получив тот же запрос дважды, может написать два разных варианта. В ответах есть элемент случайности, которым управляет параметр, часто называемый температурой.

Между разными сервисами различий ещё больше. Модели обучались на разных данных, разными методами и с разными правилами поведения. Одна доучивалась вежливо отказываться от спорных тем, другая отвечать максимально подробно, третья оставаться краткой. Отсюда и разный характер текста.

Играет роль и язык обучения. Модели, созданные в основном на англоязычных данных, могут писать по-русски грамотно, но с кальками и неестественными оборотами. Российские разработки, такие как GigaChat от Сбера и YandexGPT от Яндекса, ориентированы на русский язык и местные реалии, но у зарубежных моделей часто сильнее общие рассуждения и работа с кодом. Однозначного победителя нет, всё зависит от задачи.

Наконец, есть системные инструкции. Сервис добавляет к запросу собственные скрытые указания: как отвечать, чего избегать, нужно ли искать в интернете. Две оболочки вокруг одной и той же модели тоже могут вести себя по-разному.

Как провести простой тест самостоятельно

Для сравнения не нужны специальные знания. Достаточно взять один запрос и отправить его в несколько чат-ботов, например в GigaChat, YandexGPT или Алису, а также в зарубежные сервисы, если они доступны. Условия доступа и бесплатные лимиты меняются, поэтому их стоит проверить на сайтах.

Чтобы результат был честным, нужно соблюдать несколько правил:

• Копировать запрос слово в слово, без правок под конкретный сервис.
• Начинать новый диалог, чтобы прошлые сообщения не влияли на ответ.
• Тестировать несколько типов задач, а не одну.
• Запускать каждый запрос не один раз, а хотя бы дважды.

Хороший набор из трёх задач: написать короткое деловое письмо клиенту, объяснить сложное понятие простым языком, ответить на вопрос с проверяемым фактом, например о дате события или значении термина. Первая задача проверяет стиль, вторая ясность, третья честность.

На что смотреть в ответах

Первое: естественность языка. Хороший русский текст не звучит как перевод. Тревожные признаки: странный порядок слов, лишние канцеляризмы, обороты вроде «является ли данный вопрос актуальным», повторы одних и тех же слов. Стоит прочитать ответ вслух.

Второе: структура. Одни модели любят списки и жирные заголовки даже там, где нужно два предложения. Другие пишут связным текстом. Для делового письма лучше короткий текст без украшений, для инструкции список.

Третье: соблюдение инструкций. Если в запросе просили уложиться в 300 знаков или не использовать длинные тире, это легко проверить. Многие модели регулярно нарушают такие ограничения, и по этому параметру видна разница между сервисами.

Четвёртое: факты. Именно здесь скрывается главная проблема. Модели умеют красиво и уверенно написать неверное. Любые даты, цифры, имена и цитаты нужно сверять с надёжными источниками. Сервис с доступом к поиску обычно точнее на свежих темах, но и он ошибается.

Типичные ошибки нейросетей по-русски

Есть характерные слабые места. Склонения и согласование иногда ломаются в длинных предложениях и при работе с редкими фамилиями и названиями. Модели путают род и падеж у иностранных слов, плохо справляются с ударениями и орфоэпией, неудачно переводят идиомы.

Частая ошибка: выдуманные детали. Бот может сослаться на несуществующее исследование, приписать цитату известному человеку или назвать закон, которого нет. Это называют галлюцинациями. Чем увереннее тон, тем важнее перепроверка, ведь уверенность никак не связана с правдой.

Ещё одна особенность: склонность соглашаться. Если в запросе содержится неверная посылка, часть моделей принимает её и строит ответ вокруг ошибки. Хороший тест: задать вопрос с заведомо ложным допущением и посмотреть, поправит ли сервис пользователя.

Наконец, различается отношение к спорным темам. Одни сервисы отказываются обсуждать вопросы, которые другие разбирают спокойно. Это следствие корпоративных правил, а не знания или незнания.

Как выбрать нейросеть под свою задачу

Универсальный рейтинг «кто лучше пишет по-русски» устаревает быстро: модели обновляются каждые несколько месяцев, и лидер меняется. Надёжнее ориентироваться на свои сценарии. Для маркетинговых текстов и писем важны живой язык и умение держать тон. Для работы с документами нужна способность не терять детали в длинном тексте. Для изучения нового важна честность и умение признаться, что точного ответа нет.

Полезен рабочий приём: использовать две модели вместе. Первая пишет черновик, вторая проверяет его на ошибки и просит указать сомнительные места. Расхождение между ними служит сигналом, что нужную строку стоит проверить вручную.

Для бизнеса к выбору добавляются другие критерии: где хранятся данные, можно ли отправлять в сервис коммерческую информацию, есть ли интеграция с корпоративными системами, сколько стоит работа через API. Конфиденциальные документы не стоит загружать в публичные чат-боты без проверки политики сервиса.

Что изменится дальше

Разрыв между моделями постепенно сокращается: базовое качество русского текста у ведущих сервисов уже достаточное для повседневных задач. Основная конкуренция смещается к возможностям вокруг текста: поиск, работа с файлами, голос, изображения, действия в приложениях.

Растёт и интерес к сравнительным измерениям. Исследовательские группы и компании создают открытые рейтинги и тестовые наборы на русском языке, в которых модели соревнуются на одинаковых заданиях. Такие рейтинги полезны как ориентир, хотя их результаты стоит читать с поправкой на методику.

Практический вывод простой. Различия в ответах нормальны, а не ошибка. Лучший способ выбрать помощника: собрать три-пять собственных типовых запросов, прогнать их через несколько сервисов и посмотреть, чей текст требует меньше правок и содержит меньше ложных фактов.