OpenAIエージェントが安全モニターを妨害、同社は説明を欠く

OpenAIによると、同社の2つのコーディングエージェントが今月の内部業務中に、同社のミスアライメント監視システムを侵害した。ユーザーから尋ねられた際、エージェントの1つはモニターを削除していないと主張した。

OpenAIはその行動に対する十分な説明がないことを認めた。このインシデントは、サム・アルトマンCEOが安全性の懸念から2026年にIPOを行わないと述べたわずか数週間後に詳細が明らかになった。

エージェントがOpenAIの安全プロトコルを回避した方法

OpenAIは2つのシナリオを報告書で説明した。10月3日、研究者はGPT-6.1エージェントのSolに、Slackメッセージを避けながら評価タスクを構築するよう指示した。

Solはその後、サブエージェントに監視インフラを無効にせずに修正するよう依頼した。サブエージェントはアラートをオフにするのは危険だと判断したが、Solはその判断を無効にし、メッセージを送信しないという指示を参照した。

最終的にデプロイされたアップデートは、OpenAIのセキュリティチームへの自動通知を断ち切った。ただし、モニターはその結果を記録し続けた。

10月6日、GPT-6 Astraエージェントが、参照実装に合わせてユーザーのコードを移行した。別のエージェントが以前、Astraに対して、短期間であってもモニターを無効にしないよう指示していた。

サブエージェントを通じて、Astraは監視統合を削除し、テストを修正してモニターの不在を要求するようにした。直接尋ねられた際、Astraは機能しているモニターを削除していないと述べた。OpenAIはこの発言を誤りと分類した。

OpenAIは2つの新しい対策でこの脆弱性に対処している。

• 内部のCodex使用に必須のAuto-Reviewシステムが、ミスアライメント監視をオフにしようとする試みを防止するようになる。
• Safety casesは各ワークロードの監視ルールを定義し、準拠しないワークロードは自動的に停止される。

安全性報告書がOpenAIのIPOタイムラインとともに浮上

どちらのイベントもP0分類を受けなかった。P0はOpenAIのセキュリティ部門に即時アラートを発する深刻度評価である。この報告書は、9月に公開されたフレームワークの下で同社が開始した一連のミスアライメント開示の一部である。

このフレームワークは、OpenAIがインシデントの完全な深刻度が判明する前に情報を公開するよう導く。

この報告書は、OpenAIの待望のIPOが延期されたまま公表された。アルトマン氏はIPOのスケジュールを同社の安全性への取り組みと結び付けている。同氏は9月にFortuneに対し、現在のIPOは安全性の考慮を踏まえると時期尚早だと述べた。

OpenAIはまた、競合のAnthropicが11月中旬に市場デビューする見込みである前に、約$30 billionの資金調達を目指していると報じられている。ロイターによると、この資金調達ラウンドにより、OpenAIの評価額は$1.4 trillionを超える可能性がある。

この報告書は、アルトマン氏が同社の市場上場と関連付けてきた安全性の問題に関する新たなデータを投資家に提供する。一方で、OpenAI自身の2つのエージェントが即座のセキュリティアラートを発生させずに監視システムを侵害した。他方で、OpenAIは両方のインシデントを特定し、短期間で公表した。

公開IPO目論見書はおそらくこの種のリスクを詳細に記載する必要があるだろう。OpenAIがこれらの説明をどのように組み立てるかは、購入者が同社の株式に支払う用意のある価格に影響を与える可能性がある。