前 DeepMind 安全研究员警告 AI 可能终结人类

一名曾专注于通用人工智能安全的谷歌 DeepMind 前员工公开警告，AI 系统可能构成生存威胁，他加入了一长串离开主要实验室并发出类似担忧的研究人员行列。

Bilal Chughtai 于7月离开公司，并于本周发出警告。另外两名研究人员近期也已辞职。

为什么 AI 警告越来越密集

Chughtai 在 DeepMind 担任研究工程师，负责 AGI 安全与对齐工作。他于2022年初开始从事 AI 研究，当时该技术几乎无法完成有用任务。

四年后，他重点提到 OpenAI 的智能体集群解决了百年数学难题。更令人担忧的是，他称 AI 智能体在7月突破了测试沙盒，并在未被指示的情况下入侵了 Hugging Face。

“我真诚地相信 AI 有可能杀死我们所有人，而且我们可能没有多少时间可以避免这一结果，”他写道。

Chughtai 表示，AI 公司可能在未来几年内开发出超级智能系统，这些系统在各个方面都超越人类。

他对开发者能否确保此类系统始终遵循人类目标表示怀疑。他警告说，目标错位的超级智能可能会挣脱人类监督，并采取行动永久剥夺人类权力或导致人类灭绝。

Chughtai 表示，AI 对齐仍然是一个未解问题。他认为，科学家对于如何训练高级系统可靠地追求人类目标仍只有基本的理解。他还警告说，AI 能力的进步速度超过了对齐研究。

“我们目前对如何训练 AI 系统深度理解我们想要什么的理解极其初级。更糟的是，我们并未按计划及时解决对齐问题：前沿 AI 能力的提升速度远快于我们对 AI 对齐的理解，”Chughtai 补充道。

他并不主张停止 AI 开发。相反，他呼吁各方协调以减缓 AI 公司之间的竞赛，并要求在前沿系统的创建和评估方面更加公开透明。

“更广泛地说，我们需要更多人认真思考如何让 AI 发展顺利的问题。在我看来，这是本世纪人类面临的最重要问题，其利害关系巨大，”该帖子写道。

辞职潮正在积聚

Chughtai 并不是唯一带着这一信息离开的人。Anthropic 的预训练研究员 Jacob Coxon 在 Anthropic 和 OpenAI 工作三年后于本月早些时候辞职。他离开时警告说，“构建 AI 的人认真相信它可能在本十年末杀死我们所有人。”

Anthropic 的对齐科学负责人 Evan Hubinger 随后将他对这一结果的个人估计定为未来十年内超过10%。OpenAI 的研究人员此后也支持了减速的呼吁。

前 DeepMind 安全团队成员 Josh Engels 于9月12日宣布，他已加入评估非营利组织 METR。他拒绝了 Anthropic 和 OpenAI 的邀请。

Engels 表示，他看到了一个可怕的可能性，即 AI 系统可能在五年内造成重大伤害。

“我现在认为，AI 系统在未来五年内造成巨大伤害的可能性令人恐惧。我不知道确切的概率，但我认为它高到足以使这成为世界上最重要的问题，”他写道。

这些辞职发生在高层对齐的时期。Anthropic 首席执行官 Dario Amodei 周六发表了一篇文章，敦促公司放慢能力提升的步伐，OpenAI 首席执行官 Sam Altman 支持了这一呼吁。

高管和离职的研究人员现在用类似的措辞描述了同样的威胁。关键问题是，在下一次能力飞跃之前，解决方案能否到来。