Anthropicの研究者が辞職、AI業界が人類絶滅を恐れていると発言

Anthropicの研究者であるJacob Coxon氏は辞任を発表し、AnthropicとOpenAIの両社が人間の命を危険にさらしながら自己改善型の超知能へと突き進んでいると非難した。

Coxon氏は、過去3年間にわたり両社でプレトレーニングに従事したと述べている。彼はXへの投稿を通じて告発を共有した。

Anthropicの研究者が退任、残る者たちへの悲惨な予測とともに

Coxon氏によれば、この技術の方向性は著しく過小評価されている。将来のシステムは、あらゆるものをハッキングし、一夜にして全セクターを変革し、真の影響力とリソースを得ることができると彼は主張する。

Coxon氏はさらに、内部の議論と公的な声明の間には顕著な隔たりがあると主張した。トップのリーダーたちはメディア出演では表現を和らげるが、私的には懸念を認めていると述べた。

「AIを構築している人々は、それがこの10年の終わりまでに私たち全員を殺す可能性があると真剣に信じている。これはマーケティングのスタントではない」と彼は述べた。「他のいかなる人間活動もこのレベルの危険をもたらさない」

Coxon氏は以前の職場を区別した。OpenAIでは多くの従業員が文明レベルのリスクを理解できていないが、Anthropicはそれを認識しているものの、先を争う競争に陥っていると述べた。

「Jacobはここで正しい——私たちは本当にAIが全人類を殺す可能性があると真剣に信じている！私個人としては、今後10年以内にその確率は10%超だと考えている。Anthropicは最善を尽くしていると思うが、超知能のためのアライメントを解決する計画はまだなく、明確に軌道に乗っているわけでもない」

— Evan Hubinger (@EvanHub), 2026年9月9日

Coxon氏は、2026年に職を去った増加するスタッフのリストに加わる。2月には、Anthropicのセーフガード責任者であるMrinank Sharma氏が辞任した。

9月1日、以前OpenAIのチーフフューチャリストだったJoshua Achiam氏は、暴走したAIシステムが自律的に複製し、財政的・政治的影響力を求めるだろうと述べた。

協力の訴え

Coxon氏は、いわゆる終盤に突入することを傲慢な賭けと特徴づけた。彼は、そのような重大な選択は民間企業の内部チャットから生じるべきではないと主張した。

それにもかかわらず、Coxon氏は協調への希望を表明した。Hugging Faceのインシデントにより、米国の研究所間でのペース協定の実現可能性が高まったと彼は信じている。

AnthropicとOpenAIはすでにそのような概念を支持している。7月には、フロンティア研究所の1,100人以上の従業員が「Pacing the Frontier」書簡に署名し、その中にはAnthropicのCEO Dario Amodei氏とOpenAIのチーフサイエンティストJakub Pachocki氏が含まれている。

「私たちは、米国政府が自動化AI開発のフロンティアを意図的にペース調整するために必要な技術的・ガバナンスツールを開発する国際的取り組みを支援するよう要請する」と書簡は述べている。

さらに、両社はGoogle、Microsoft、および約150の他の団体とともに、サイバーセキュリティに関する共同公開書簡を支持している。書簡は、AI主導の攻撃が近い将来、頻度と複雑さの両面で大幅に増加すると警告している。

Coxon氏の警告は、国連人権高等弁務官のVolker Türk氏が人権理事会に対し、高度なAIが実存的脅威を表す可能性があると通知した直後になされた。

世界的な競争を回避するため、Coxon氏はモデル能力を強化する試みの一時停止を提案した。彼は最後に、研究所の研究者に対し、結果を理解せずに超知能強化学習プロセスを開始したいかどうかを熟考するよう求めた。