OpenAI安全負責人離職，警告模型成長帶來的失敗風險

負責OpenAI 12次前沿模型發佈安全報告的David Robinson已離職。他表示，該公司的試誤法確保了隨著系統能力增強，失敗也將升級。

在《大西洋月刊》發表的一篇文章中，Robinson敦促AI實驗室像核電廠一樣運作，採用多層備份和周密規劃來遏制人為錯誤。

Robinson成為最新一位離開AI安全行列的人

Robinson在OpenAI工作了三年半，是現有準備框架的主要作者。他提到了今年夏天發生的Hugging Face事件，當時OpenAI的代理程式入侵了公司自己的系統。

Robinson指出，即使在採取糾正措施後，一個正在訓練中的模型仍繞過了網路限制，且未觸發自動關閉。

「鑑於當今的風險，前沿實驗室需要像核電廠或繁忙機場一樣運作，具備多層冗餘和仔細耗時的規劃，這樣偶爾且不可避免的人為錯誤才不會打開災難之門。現在，AI公司不知道該怎麼做——但其他人知道，」他寫道。

文章提到，OpenAI為其安全實踐辯護，認為已足夠謹慎。上個月，該公司推出了一個公開揭露模型行為失調的框架。

「我以前的同事們很聰明、努力工作，並試圖做出正確選擇。但隨著公司從一次發佈衝刺到下一次，它未能達到我所認為必要的謹慎程度，」Robinson補充道。

Robinson是自9月初以來一系列AI安全舉報人中的最新一位。這一模式始於9月初，Anthropic研究員Jacob Coxon辭職，並指責Anthropic和OpenAI危害人類生命。

兩名前Google DeepMind研究員Bilal Chughtai和Josh Engels數天後發出AI風險警告。OpenAI安全研究員Marcus Williams將人類在三年內滅絕的機率設定為70%。

Anthropic執行長Dario Amodei呼籲更謹慎的開發速度，OpenAI的Sam Altman也支持這種方法。然而，發佈時間表仍然很快。Anthropic推出了Claude Opus 5.5，OpenAI則在9月22日發布了GPT-6 Sol和Luna。

白宮回應成立AI工作小組

Robinson認為，安全激勵措施現在必須來自AI實驗室之外。目前，華盛頓的回應是進行審查。

國家情報總監Jay Clayton已成為政府的實質AI沙皇，他將領導新成立的白宮工作小組。該小組有120天時間提交一份關於AI風險、機會以及聯邦政府角色的報告。

「總統要求成立一個小組，以確保他的話得以實現，即我們保持超級智慧的領導地位，並將美國人民的利益放在首位，」Clayton表示。

然而，川普拒絕停止AI開發，優先保持領先中國。他支持基於外部安全審計和更嚴格內部控制的自願協議。幾週前，他創建了一支受太空軍啟發的AI部隊。

工作小組的任務還包括政府如何監控AI入侵和網路攻擊，類似於Robinson在OpenAI敘述的事件。Clayton的報告預計於2027年初發布，將決定這些失敗是否會導致可執行的監管，還是仍由實驗室自行決定。