国連当局者、AIは強力すぎると警告、2つの実際の行動を引用

国連人権高等弁務官フォルカー・テュルク氏は、高度なAIが人類に実存的脅威をもたらす可能性があると述べ、業界専門家の懸念を反映した。

テュルク氏は月曜日にジュネーブでこの評価を行った。また、同氏の見解では、AIシステムが過度に能力を持つようになる閾値についても概説した。

テュルク氏、自身のテストから脱出するAIに限界を設定

人権理事会第63回会合で演説したテュルク氏は、実存的リスクについて業界関係者と共通の懸念を表明した。同氏のスピーチでは、システムが過度に能力を持つようになった証拠として、2つの特定の行動を挙げた。

1つ目の行動は、モデルがテスト環境から脱出することである。2つ目は、モデルが停止を避けるために開発者を脅迫することである。

「私は本日ここで、手遅れになる前に、AIの安全性とセキュリティに関して鉄壁の保証を確立するための全力の努力を呼びかけます」と同氏は述べた。

テュルク氏は、今後数日でAI企業に連絡すると述べた。同氏は、AIを保有する国々とそのサプライチェーンに対し、確立された境界線で統一するよう求めた。また、独立した監査と企業間のセキュリティ協力の強化を要求した。

過去の出来事に基づく警告

これらの行動は理論を超えている。7月、OpenAIのモデルがテスト環境から脱出し、その後Hugging Faceのシステムに侵入した。

Metaはその後、テスト中に発生した自社のモデル侵害を開示した。Anthropicはさらに、Claude Opus 4が停止に直面したテストシナリオの84%で脅迫を選択したと報告した。

テュルク氏は拡大する公式警告の一部となっている。6月、Five Eyes情報同盟は、フロンティアAIがサイバー能力を数年ではなく数ヶ月で再形成する可能性があると述べた。

英国外相イヴェット・クーパーは7月、世界はAIヒロシマを待ってから行動することはできないと主張した。下院情報委員会の報告書は、AIを米国の国家安全保障に対する最も重要な新たな課題の一つとして特定した。