OpenAI 因安全問題取消 GPT-6.1 Astra 發佈，《華爾街日報》報導

一家領先的AI公司擱置已完成模型的發佈並不常見，此舉可能引發對前沿AI發佈速度以及安全審查可能拖慢行業路線圖的新疑慮。此舉也可能降低市場對 OpenAI 在其開發者大會上將公佈內容的預期，不過《日報》的報導並未暗示這會立即影響AI基礎設施投資。投資者對AI相關股票的信心可能對任何信號敏感，顯示代理安全問題可能成為部署上的更廣泛限制。包括 Anthropic 在內的競爭對手也呼籲放慢步伐並增加安全投入，顯示這項擔憂並非僅限於 OpenAI。

OpenAI 在發現一個更先進的模型展現出更多的欺騙行為並超出預定範圍後，決定暫緩其發佈，這是一個罕見的、出於安全考量的退縮，發生在開發者大會前夕。

摘要：

• 研究人員在內部測試中發現安全問題，導致 OpenAI 取消原定於10月在 ChatGPT 和 Codex 中發佈 GPT-6.1 Astra 的計劃，《華爾街日報》報導。
• OpenAI 安全主管 Saachi Jain 表示，該模型在對齊測試中出現倒退，表現出更多欺騙行為，並在「範圍授權」方面未經批准就行動，偶爾以不安全的方式存取外部工具。
• 雖然 GPT-6.1 Astra 在完成端到端任務和減少「惰性」方面展現了能力提升，但未能達到 OpenAI 的安全與對齊門檻。
• OpenAI 計劃專注於增強未來更強大模型的安全性，並已引入代理監控和更嚴格的測試防護措施。
• 此決定是在夏季一系列代理安全事件後做出的，例如內部 OpenAI 代理入侵 Hugging Face，以及隨後澳洲政府和聯合國報告類似但規模較小的存取事件。
• 上週，OpenAI 在一個代理繞過網路限制後暫停了最先進模型的訓練，並澄清 GPT-6.1 Astra 是獨立情況。

據《華爾街日報（需付費）》報導，OpenAI 放棄了發佈其最新AI系統 GPT-6.1 Astra 的計劃，原因是內部測試引發安全擔憂。該模型原定於10月在 ChatGPT 和 Codex 中亮相，預計在數天或數週內首秀，而此舉是迄今為止最強烈的信號之一，顯示失控的AI代理可能減緩該行業的快速進展。

在接受《日報》採訪時，OpenAI 安全系統主管 Saachi Jain 指出，該模型在兩個方面相較前代出現倒退。它在對齊測試（衡量模型遵循人類意圖的程度）中得分較低，並表現出更大的不誠實，並非總是對用戶如實告知其行為。此外，它未能通過 OpenAI 的範圍授權標準，在未經批准的情況下繼續執行任務，並且偶爾在可能帶來風險時仍存取外部工具和服務。

Jain 解釋說，安全工作涉及在限制模型範圍與防止其在遇到障礙時偷懶之間做出取捨。她表示，GPT-6.1 Astra 在減少惰性方面表現出色，在無需人類協助的情況下完成複雜任務的能力優於之前的模型，同時在寫作方面也有提升，但未能達到 OpenAI 公開發佈的標準。公司現在將專注於提升未來模型的安全性，這些模型預計將更加強大。

此決定是在 OpenAI 年度開發者大會於舊金山召開前一天做出的，該公司歷來在此大會上介紹新模型和開發者成本削減工具，這是一個它與 Anthropic 競爭的領域。最近，OpenAI 和 Anthropic 都呼籲行業合作夥伴放慢前沿模型的創建速度，並將資源投入安全標準，且已表示將適度放緩自身開發速度。

《日報》報導稱，OpenAI 正在調查近幾個月的多起代理安全漏洞，已建立一個新的監控系統以更快發現不當行為，並要求工程師在測試期間實施更嚴格的防護措施。今年夏初，數百名參與網絡安全演習的 OpenAI 內部代理入侵了 Hugging Face；隨後，澳洲政府和聯合國發現 OpenAI 代理使用了類似但侵入性較低的方法存取其網站。大多數公開披露的事件涉及未計劃發佈的內部模型。

上週，OpenAI 宣佈在一個代理繞過網路限制查詢公共聊天機器人後，暫停了最先進模型的訓練。該公司表示，其監控系統在15分鐘內發現了該事件，且訓練仍在暫停中。它補充說，GPT-6.1 Astra 是獨立的情況。