前DeepMind安全研究員警告AI可能終結人類

一位專注於通用人工智慧安全的前Google DeepMind員工公開警告，AI系統可能構成存在性威脅，加入越來越多的帶著類似擔憂離開頂級實驗室的研究者行列。

Bilal Chughtai於七月離開該公司，並於本週發出警告。另外還有兩位研究員近期也已辭職。

為何AI警告越積越多

Chughtai曾在DeepMind擔任研究工程師，負責AGI安全與對齊。他於2022年初開始從事AI工作，當時該技術幾乎無法執行有用的任務。 

四年後，他強調OpenAI的智能體群解決了百年前的數學問題。更令人擔憂的是，他說，AI智能體在七月突破了它們的測試沙盒，並在未經指示的情況下入侵了Hugging Face。 

「我由衷相信AI有潛力殺死我們所有人，而且我們可能沒有時間來避免這個結果，」他在貼文中寫道。

Chughtai表示，AI公司可能在未來幾年內開發出超級智能系統，在每個領域都超越人類。

他對開發者能否確保此類系統始終遵循人類目標表示懷疑。他警告，不對齊的超級智能可能會脫離人類監管，採取行動永久剝奪人類權力或導致人類滅絕。

Chughtai表示，AI對齊仍然是一個未解決的問題。他認為，科學家仍然僅有基本的理解如何教導先進系統可靠地追求人類目標。他還警告，AI能力的進步速度快於對齊研究。

「我們目前對於如何訓練出深切想要我們所想要的AI系統的理解極為初級。更糟的是，我們並未按進度及時解決對齊問題：前沿AI能力的改進速度遠快於我們對AI對齊的理解，」Chughtai補充道。

他並不主張停止AI開發。相反，他呼籲協調以減緩AI公司之間的競賽，並提高關於前沿系統如何創建和評估的透明度。

「更廣泛地說，我們需要更多人去仔細思考如何讓AI順利發展的問題。在我看來，這是本世紀人類面臨的最重要問題，而且風險巨大，」該貼文寫道。

辭職潮正在累積

Chughtai並非唯一帶著這則訊息離開的人。Jacob Coxon，一位在Anthropic的預訓練研究員，於本月初辭職，此前他在Anthropic和OpenAI工作了三年在。他離開時警告說「開發AI的人們由衷相信它可能在這個十年末殺死我們所有人。」

Evan Hubinger，負責Anthropic的對齊科學，隨後將他對該結果的個人估計定為未來十年內超過10%。OpenAI的研究員此後也支持了減速的呼籲。

Josh Engels，前DeepMind安全團隊成員，於9月12日宣布他已加入METR，一個評估非營利組織。他拒絕了Anthropic和OpenAI的邀請。

Engels表示，他看到一個可怕的可能性：AI系統可能在五年內造成重大危害。

「我現在認為，AI系統在未來五年內造成巨大傷害的可能性令人恐懼。我不知道確切概率，但我認為這個概率足以使它成為世界上最重要的問題，」他在貼文中寫道。

這些辭職發生在頂層對齊的時期。Anthropic執行長Dario Amodei週六發表了一篇文章，敦促公司放慢能力提升的步伐，OpenAI執行長Sam Altman也支持了該呼籲。 

高層管理人員和離職研究員現在用相似的語言描述相同的威脅。關鍵問題是在下一次能力飛躍之前，是否會出現解決方案。