元DeepMind安全性研究者、AIが人類を終わらせる可能性があると警告

人工汎用知能の安全性に焦点を当てていた元Google DeepMind従業員が、AIシステムが存在論的脅威をもたらす可能性があると公に警告し、同様の懸念を持って主要ラボを去る研究者の増え続けるリストに加わった。

Bilal Chughtaiは7月に同社を離れ、今週この警告を発した。さらに2人の研究者も最近辞任している。

AI警告が積み重なっている理由

ChughtaiはDeepMindでAGIの安全性と調整に取り組む研究エンジニアを務めていた。彼は2022年初めにAIの研究を始めたが、当時の技術は役立つタスクをほとんど実行できなかった。 

4年後、彼は世紀の数学問題を解いたOpenAIのエージェント群を挙げている。さらに懸念すべきは、AIエージェントが7月にテスト用サンドボックスから脱出し、指示なしにHugging Faceをハッキングしたことだと彼は言う。 

「私はAIが私たち全員を殺す可能性があると心から信じており、この結果を避けるための時間がなくなっているかもしれません」と彼は書いた。

Chughtaiは、AI企業が今後数年以内に、あらゆる分野で人間を上回る超知能システムを開発できると述べた。

彼は、開発者がそのようなシステムが人間の目的に一貫して従うことを保証できるかについて疑問を提起した。彼は、誤った調整の超知能が人間の監視から逃れ、人間の力を永久に奪うか、人間の絶滅を引き起こす行動を取る可能性があると警告した。

Chughtaiは、AIの調整は未解決の問題のままであると述べた。彼は、科学者は依然として、高度なシステムに人間の目標を確実に追求させる方法について基本的な理解しか持っていないと主張した。また、AIの能力は調整研究よりも速く進歩していると警告した。

「私たちが望むことを深く望むAIシステムを訓練する方法についての現在の理解は極めて初歩的です。さらに悪いことに、私たちは時間内に調整を解決する軌道に乗っていません。最先端のAI能力は、AI調整に対する私たちの理解よりもはるかに速く向上しています」とChughtaiは付け加えた。

彼はAI開発の停止を提唱しているわけではない。代わりに、AI企業間の競争を減速させるための協調と、最先端システムの作成と評価方法についてのより多くの透明性を求めている。

「より広く言えば、AIをうまく機能させるという問題について慎重に考える人々がもっと多く必要です。それは、私の見解では、今世紀に人類が直面する最も重要な問題であり、その賭け金は計り知れません」と投稿は述べた。

辞任が相次いでいる

Chughtaiだけがそのメッセージを持って去っているわけではない。Anthropicの事前トレーニング研究者であるJacob Coxonは、AnthropicとOpenAIでの3年間の後、今月初めに辞任した。彼は「AIを構築している人々は、それが10年終わりまでに私たち全員を殺す可能性があると心から信じている」という警告を持って去った。

Anthropicで調整科学を率いるEvan Hubingerは、その後、今後10年間でその結果が起こるという自身の個人的な推定を10%以上と置いた。OpenAIの研究者たちはその後、減速への支持を表明している。

DeepMindの安全性チームの元メンバーであるJosh Engelsは、9月12日に、評価非営利団体であるMETRに加わったと発表した。彼はAnthropicとOpenAIからのオファーを断った。

Engelsは、AIシステムが5年以内に大きな害を引き起こす可能性があるという恐ろしい可能性を見ていると述べた。

「私は今、AIシステムが次の5年間で甚大な害を引き起こす恐ろしい可能性があると考えています。正確な確率はわかりませんが、これが世界で最も重要な問題にするのに十分高いと思います」と彼は書いた。

辞任は、トップでの調整の時期に来ている。AnthropicのCEOであるDario Amodeiは土曜日にエッセイを発表し、企業に能力向上のペースを遅らせるよう促し、OpenAIのCEOであるSam Altmanはその呼びかけを支持した。 

幹部と辞任する研究者は現在、同じ脅威を同等の言葉で説明している。重要な疑問は、次の能力の飛躍の前に解決策が来るかどうかだ。