Кто понесет ответственность за ошибки ИИ-агентов?
На пороге эпохи, когда ИИ-агенты способны самостоятельно выполнять множество задач, встает важный вопрос: кто несет ответственность, когда такие технологии не срабатывают должным образом? За последний год опытный инженер-программист Джей Пракаш Тхакур потратил свои вечера и выходные на создание прототипов ИИ-агентов, которые смогут заказывать еду и разрабатывать мобильные приложения почти без человеческого вмешательства. Хотя эти агенты проявляют удивительные способности, они также выявляют новые юридические вопросы, которые будут беспокоить компании, стремящиеся извлечь выгоду из технологий, находящихся на пике популярности в Силиконовой долине.
Итак, что такое ИИ-агенты? Это программы, способные действовать в большей степени самостоятельно, позволяя компаниям автоматизировать такие задачи, как ответы на запросы клиентов или оплата счетов. Пока что ChatGPT и подобные чат-боты могут составлять электронные письма или анализировать счета по запросу, но компании, такие как Microsoft, ожидают, что агенты будут справляться с более сложными функциями — и, что самое важное, делать это с минимальным контролем со стороны человека.
Увеличение спроса на ИИ-агентов
По оценкам исследовательской компании Gartner, к 2029 году ИИ-агенты смогут разрешать 80% общих запросов службы поддержки клиентов. Сервис Fiverr, который позволяет компаниям находить фрилансеров для разработки программного обеспечения, сообщает о росте запросов на "ИИ-агента" на 18,347 процентов в последние месяца. Поэтому неудивительно, что спрос на эту технологию только растет.
Тхакур, самосообразительный программист из Калифорнии, хочет быть на переднем крае этой новой области. Его день работы в Microsoft напрямую не связан с агентов, но он экспериментирует с AutoGen, открытым программным обеспечением Microsoft для создания ИИ-агентов, с тех пор, как работал в Amazon в 2024 году. Тхакур разработал мультиагентные прототипы, используя AutoGen, при этом значительно упростив программирование. На прошлой неделе Amazon представила аналогичный инструмент для разработки агентов под названием Strands; Google предлагает то, что называется Набором инструментов для разработки агентов.
Юридическая ответственность за ошибки
Каковы же риски, связанные с ИИ-агентами, и кто будет отвечать за их ошибки? Тхакур выражает самые большие опасения, касающиеся вопросов ответственности, когда ошибки ИИ-агентов приводят к финансовым потерям. Если агенты разных компаний неправильно взаимодействуют в одной крупной системе, определить, кто именно виноват, может оказаться крайне сложно. "Часто невозможно определить, кто несет ответственность", — говорит Тхакур. В ходе недавней юридической конференции в Сан-Франциско старший юрисконсульт компании OpenAI Джозеф Файерман согласился с ним, отметив, что пострадавшие лица, как правило, обращаются к тем, у кого есть самые глубокие карманы. Это значит, что компании, такие как его, должны быть готовы взять на себя часть ответственности, даже если в виновности человека, игравшего с ИИ-агентом, есть доля риска.
Ошибки, которые могут обернуться катастрофой
Эксперименты Тхакура включают в себя создание систем, которые требуют как можно меньше человеческого вмешательства. Один из его проектов предполагал замену коллег-программистов двумя агентами. Один из них был обучен искать специализированные инструменты, необходимые для разработки приложений, а другой — обобщать их условия использования. В будущем третья агент могла бы использовать идентифицированные инструменты и следовать обобщенным политиками, чтобы разработать совершенно новое приложение, утверждает Тхакур.
Однако в его испытаниях возникали ошибки. Например, поисковый агент нашел инструмент, который, согласно информации на сайте, "поддерживает неограниченные запросы в минуту для корпоративных пользователей". Но при попытке обобщить ключевую информацию агент не учел важное уточнение, сообщив коду, что он может создавать программу, которая будет делать неограниченные запросы к внешнему сервису. Если бы это произошло в реальной жизни, такая ошибка могла бы привести к поломке всей системы.
Другой прототип, который Тхакур разработал, был связан с системой заказа для ресторана, которая могла бы обрабатывать кастомизированные заказы. Пользователи могли бы написать свой запрос в чат-боте, например, "бургеры и картошка", а ИИ-агент мог бы найти подходящую цену и перевести заказ в рецепт. Однако в некоторых случаях запрос "я хочу луковые кольца" превращался в "лишние лук". Это могло обернуться серьезными последствиями, особенно если клиент имел аллергию на определенные ингредиенты.
Проблема информационной безопасности и соблюдения законодательства
Сложные задачи, с которыми сталкиваются ИИ-агенты, когда речь идет о соблюдении юридических норм, порождают серьезные дебаты. Поскольку компании разрабатывают все более сложные системы ИИ, кто-то должен будет решить, кто заплатит, когда клиент запросит возврат денег за испорченный заказ еды или подаст в суд за более серьезный сбой. Юридические эксперты предполагают, что пользователи, использующие системы агентов, должны подписать контракты, которые перекладывают ответственность на компании, предоставляющие технологии.
Тем не менее, существует вероятность того, что обычные пользователи не смогут заставить гигантские компании согласиться с этими условиями. Поиск технических решений на уровне юридических соглашений представляет собой трудную задачу. "Интересно, смогут ли агенты обойти политики конфиденциальности и условия обслуживания" от имени пользователей, — говорит Ребекка Джейкобс, заместитель юридического советника компании Anthropic.
Таким образом, реальность такова, что пользователи не могут полностью положиться на агентов пока. ИИ еще не достиг уровня надежности, при котором пользователи могут безбоязненно доверить им выполнение задач.