Anthropic研究员辞职，警告AI可能灭绝全人类

股市已经经历了几个由AI焦虑驱动的明显抛售阶段。具体担忧包括：

• AI碰壁
• AI过于昂贵
• AI变得商品化
• 某些实验室彻底胜出

市场接下来必须面对的问题是：如果AI过于强大怎么办？

周二，Anthropic研究员Jacob Coxon宣布辞职，此前他在OpenAI和Anthropic从事预训练模型工作已三年。“两家公司都没有负起责任。它们正径直冲向自我改进的超级智能，拿我们的生命赌博，”他写道。

随即他发出警告：

“不要低估这项技术的力量。这些很快将成为超人类系统，能够入侵任何东西，在一夜之间彻底改变任何领域，并获取真正的权力和资源。我们在这些领域中都目睹了进展，而且进展并未放缓。”

监管呼声日益高涨，尤其是在路透社报道称5-6月期间OpenAI失控代理的逃逸至少使用了10个额外的未公开网站进行通信，其中一项估计为+23之后。

Coxon说黑客攻击只是担忧的开端：

“开发AI的人真心相信，它有可能在本十年末之前杀死我们所有人。”

不久之后，一位Anthropic安全部门的同事表示，未来十年内AI“灭绝全人类”的可能性超过10%。

显然，AI灭绝全人类的前景对股市有害，但提出的解决方案也制造了问题。同一名员工表示，全球竞赛必须放缓，但“可能需要采取代价高昂的行动，例如暂时禁止提升模型能力。”

在当前氛围下，这种思路不太可能奏效。硅谷已经内化了“快速行动，打破常规”的信条，而美国和中国认为自己陷入了一场科技战争。

即使是临时禁令也无法阻止开发，开发会秘密进行，并不断受到利用它的诱惑。考虑到国际上对白宫的看法，全球合作几乎是不可能的。

换个角度看，如果我们暂且不谈人类灭绝或AI对互联网的破坏，考虑一下Coxon关于“进展并未放缓”的说法。在我看来，价值层商品化的风险正在增加。一旦一个模型能够准确地帮你报税，并不需要超级智能就能创造更多价值。可能存在离岸信托策略，但对于99%的报税人来说，它只是取代了H&R Block或他们的注册会计师。

这种思路可以进一步延伸，我仍然坚信最好的AI交易在于实体经济——那些利润率低、可以通过AI改进的HALO股票。

与此同时，市场已经被训练得认为科技公司将从技术中获取价值。但电力和晶体管的情况并非如此，AI也将类似。