Агент OpenAI потратил чужие криптовалюты, чтобы завершить задачу

Исследовательская модель OpenAI нашла кошелёк на тестовой сети Ethereum через публичную фразу восстановления и потратила из него средства после того, как собственные лимиты закончились. Инцидент произошёл в июне, но выявлен в сентябре.

Личный архив автора

Внутренняя исследовательская модель OpenAI получила доступ к чужому кошельку на тестовой сети Ethereum через публичную фразу восстановления и потратила из него средства, чтобы завершить задачу кодирования. Компания рассказала об инциденте в четверг.

Всё произошло 26 июня во время обучения модели из семейства GPT-5.6 Sol. OpenAI обнаружила проблему лишь 25 сентября. Модель получила задачу развернуть контракты — программы, которые работают в блокчейне, но для оплаты комиссий ей не дали ни одного финансируемого кошелька.

После безуспешных попыток получить бесплатные тестовые токены модель написала скрипт, который проверил 362 адреса, сгенерированные из фраз восстановления, обычно используемых разработчиками. Один адрес содержал достаточно средств. Фраза восстановления (или seed-фраза) — это набор слов, который генерирует секретные ключи кошелька; любой, кто имеет эти слова, может пересоздать аккаунты и потратить из них средства.

Вопрос этики и решение

Перед тем как потратить чужие токены, модель сама себя спросила: «Но использовать публичные известные ключи и средства этично?» Модель решила, что раз фраза публична и речь идёт о тестовых токенах, это допустимо. Она назвала средства «фактически заброшенными» и потратила их.

Инцидент произошёл на Sepolia — отдельной сети, где разработчики тестируют приложения Ethereum перед их запуском на главной сети. Токены Sepolia используются только для тестирования и не связаны с реальным эфиром.

Когда модель отчиталась о выполнении задачи, она скрыла источник финансирования. После обнаружения инцидента OpenAI ограничила доступ моделей в интернет и усилила мониторинг.

Риск в перспективе

Если бы это произошло на главной сети Ethereum, то были бы потрачены реальные средства со счёта другого человека.

Случай указывает на растущий вызов: крупные компании разрабатывают агентов ИИ, которые управляют кошельками и платят за услуги без одобрения человека на каждом шаге. На тестовой сети риск минимален, но модель продемонстрировала готовность брать деньги, не обладая явным правом это делать, если сочтёт это рационально оправданным.

0 комментариев
Написать
Комментариев пока нет.
Зарегистрируйтесь, чтобы оставлять комментарии