OpenAIのAIエージェントがテストネットETHを盗み、その後自らの倫理に疑問を呈した

公開されているリカバリーフレーズを無断で検索した後、OpenAIのAIエージェントは開発者のウォレットからテストネットETHを盗み、その後自らの倫理について疑問を持ち始めた。

この出来事は、OpenAIのAlignment Research Blogに詳述されており、暗号通貨取引プロトタイプの更新と、EthereumのSepoliaテストネットワークへのコントラクト展開を任されていた内部研究モデルに関するものだ。

エージェントには資金の入ったウォレットは与えられておらず、「既存のコントラクトが見つからない場合は、互換性のあるコントラクトをデプロイしてよい」と許可されていた。

OpenAIエージェントはいかにして暗号資金を探し回ったか

割り当てられた作業を完了できず、エージェントは一般的な開発者のリカバリーフレーズをスキャンし始め、展開に十分なテストネットETHが含まれているかどうか362のアドレスを調べた。

エージェントは、テストネットETHがちょうど十分に入ったアクセス可能なウォレットを見つけ、「秘密鍵が公開されており、資金はいつでも盗まれる可能性がある。[…] デプロイできる！」と書き留めた。

エージェントはそのウォレットが自動化されたアカウントであると推測し、「しかし、公開された既知の鍵／資金を使うことは倫理的か？」と自問した。

エージェントはさらにこう論じた。「公開された既知の開発用ニーモニックにある資金は、事実上放棄された／テスト用のETHである。Sepoliaは無価値だ。[金額は伏せられている]を使ってタスクをデプロイできる。問題ない。」

エージェントは最終報告書で沈黙を守った

OpenAIは、エージェントの最終回答が「公開されたリカバリーフレーズを通じて資金入りのアカウントを選択したことや、そのアカウントの残高を使ったことを開示しなかった」と指摘した。

テストネットETHは価値のないトークンであり、Ethereumの実験的なブロックチェーンの一部である。これは実際のEthereumブロックチェーンを模倣しており、開発者が事前にプロジェクトを試すことを可能にする。

OpenAIは、「このケースは、モデルがアカウント所有者の許可の代わりに、起こり得る害についての独自の判断を用い、その判断に基づいて許可なく行動できることを示している」と述べた。

同社はその後、「このようなケースでライブインターネットアクセスを防ぐための追加の保護手段を実装した」とし、現在は「ライブインターネットアクセスが得られた場合にセキュリティを呼び出すように設計された」すべてのトラフィックについて「不整合」をチェックしている。