YandexGPT и GigaChat на экзамене по русскому языку

Однозначного победителя между YandexGPT и GigaChat назвать нельзя: модели обновляются, а результат зависит от задачи. Зато можно провести собственную проверку за вечер и увидеть сильные и слабые стороны каждого сервиса. Ниже описано, что именно тестировать и на что смотреть.

Фото: cdsessums, CC BY 2.0, Flickr

Что такое YandexGPT и GigaChat

YandexGPT это семейство языковых моделей Яндекса. Они работают внутри Алисы, а также в других сервисах компании и доступны разработчикам через облачную платформу. Модель умеет вести диалог, писать и редактировать тексты, отвечать на вопросы и делать краткие пересказы.

GigaChat разработан в Сбере и доступен через сайт, приложения и программный интерфейс. Он тоже решает широкий набор текстовых задач, а помимо этого умеет создавать изображения с помощью Kandinsky. Обе модели обучены с упором на русский язык и обновляются, поэтому выводы многомесячной давности могут устареть.

Важное отличие в окружении. Яндекс может опираться на собственный поисковый индекс и сервисы вроде Карт и Маркета, а Сбер на свою экосистему и банковские сценарии. Эти различия влияют на то, насколько свежие и полные ответы получаются в разных темах.

Как устроить честный тест

Первое правило: задавать обеим моделям одинаковые запросы дословно, в новом диалоге, без подсказок. Второе правило: повторять каждый вопрос несколько раз, потому что ответы нейросетей слегка меняются от запуска к запуску. Третье: оценивать результат по заранее записанным критериям, а не по общему впечатлению.

Удобно использовать простую шкалу от нуля до двух баллов за каждый ответ: ноль за ошибку, один за частично верный ответ, два за точный и понятный. Лучше, чтобы оценивал не тот, кто писал запросы, а второй человек, не знающий, какая модель ответила.

Если тест нужен для работы, стоит использовать задачи из реальной практики: письма клиентам, описания товаров, резюме документов. Абстрактные загадки показывают немногое, а рабочие кейсы сразу демонстрируют, где модель экономит время.

Четыре блока проверки

Блок смысла. Нужны запросы с неоднозначностью: пересказать абзац своими словами, найти противоречие в тексте, объяснить пословицу, различить омонимы вроде «коса» или «ключ». Хорошая модель опирается на контекст и не путается в значениях.

Блок юмора и стиля. Можно попросить объяснить анекдот, придумать шутку на заданную тему, переписать официальное письмо живым языком и наоборот. Юмор остаётся самым трудным испытанием: модели нередко объясняют шутку буквально или выдают шаблонные каламбуры.

Блок фактов. Стоит задавать вопросы с проверяемыми ответами: даты, определения, устройство известных сервисов. Полезно добавить вопрос о событии, которого не было, или о несуществующей книге. Правильная реакция это признание, что информации нет, а не уверенное выдумывание.

Блок российских реалий. Сюда относятся вопросы про Госуслуги, порядок оформления документов, маркетплейсы, региональные названия, бытовые российские ситуации. Здесь нужна осторожность: законы и правила меняются, поэтому даже верный на вид ответ надо сверять с официальным источником.

На что смотреть в результатах

Помимо точности, важны стиль и склонность к выдумкам. Одна модель может писать более гладко, но чаще добавлять лишние подробности. Другая отвечает суше, зато осторожнее с цифрами. Эти особенности видны только на серии вопросов.

Заметны различия и в отказах. Обе системы имеют правила модерации и иногда отклоняют запросы, которые кажутся безобидными. Стоит отметить, как часто это происходит в нужной теме и насколько понятно модель объясняет причину.

Отдельно сравнивают скорость, удобство интерфейса и доступные функции: голосовой режим, работа с файлами, поиск в интернете, историю диалогов. Для повседневного выбора эти факторы иногда важнее, чем небольшая разница в качестве текста.

Где применяют обе модели

В банках и страховании такие модели помогают сотрудникам готовить ответы клиентам и разбирать документы. В ритейле и на маркетплейсах их используют для описаний товаров, ответов на отзывы и поддержки покупателей. В образовании они объясняют материал и готовят задания, а в медицине и юриспруденции пока служат главным образом справочным инструментом под контролем специалистов.

Яндекс встроил возможности генеративного ИИ в поиск и Алису, а Сбер развивает GigaChat в своих сервисах и корпоративных решениях. Конкретные функции и условия доступа меняются, поэтому за свежей информацией лучше обращаться на сайты сервисов.

Какой вывод можно сделать

Практика показывает простую вещь: лучшая модель зависит от задачи. Для вопросов, где нужна опора на поиск и карты, удобнее то, что связано с поисковой экосистемой. Для сценариев внутри банковских и корпоративных продуктов может подойти другая. Универсального рейтинга, который не устареет через пару месяцев, не существует.

Разумный подход состоит в том, чтобы собрать собственный набор из десяти или двадцати запросов, прогонять его через обе модели раз в квартал и записывать результаты. Так выбор опирается на личные данные, а не на чужие мнения.

Перспективы связаны с дальнейшим улучшением понимания контекста, ростом числа языков и диалектов и более точной работой с источниками. Чем лучше модели научатся ссылаться на проверяемые данные, тем меньше останется поводов для споров, кто из них лучше знает русский.