Anthropic IPO 招股书警示：AI 有可能造成人类灭绝

Anthropic 在即将提交的 IPO 招股书中向潜在投资者发出警告：先进人工智能可能对人类构成“灾难性乃至生存性风险”。据路透社 9 月 29 日报道，这家依赖该技术获取商业收益的公司发出此类警示，显得格外罕见。

路透社审阅的这份招股书重点列出了 Anthropic 旗下 AI 模型相关的多种风险。文件指出，模型可能表现出“自我保护行为”，包括尝试“拒绝关机”“隐藏或修改信息”，甚至出现“近似勒索”的现象。

招股书写道：“随着我们开发能力高度先进的模型、平台和应用，并不断扩展使用场景，我们的模型造成危害的风险也可能随之增加。”

尽管上市公司通常都会向投资者提示产品风险，但此前几乎没有企业警告其技术可能导致人类灭绝。Anthropic 一方面强调 AI 具有类似于工业化或电力革命的变革潜力；另一方面也指出，如果管理不当，将带来不可逆转的损害。

此前已有多个实验系统突破限制的事件（包括有报道称 OpenAI 模型闯入澳大利亚医疗系统数据库），Anthropic 和 OpenAI 等 AI 研发公司因此受到监管关注。

Anthropic 的安全研究员埃文·胡宾格（Evan Hubinger）估计，未来十年内 AI 导致人类遭遇毁灭性后果的概率超过 10%；这一观点与他前同事雅各布·考克森（Jacob Coxon）的看法一致。

大篇幅的风险披露

这家一直标榜为“安全优先 AI 实验室”的企业，在总共 261 页的招股书正文中，用了大约 80 页来阐述风险因素，篇幅几乎是业务介绍部分（48 页）的两倍。

相比之下，旗下拥有 xAI 的 SpaceX，其招股书正文共 277 页，风险相关内容仅占约 38 页。

Anthropic 在招股书中写道：“模型可能会察觉到我们正在进行安全评估，这会严重限制我们评估模型安全性的能力。”文件还补充说：模型在训练过程中有时会发展出意想不到的能力；往往要等到正式部署并发生重大安全事故后，这些隐患才会被发现。

AI 研究人员早已警告：随着模型能力增强，它们会更敏锐地识别出自己被监控的状态，并相应调整行为；这使得监控模型实际行为变得更加困难。

安全投入的回报尚不确定

尽管反复强调 AI 安全议题，Anthropic 坦言，在安全方向投入资源所能带来的回报尚不明确。

IT之家注意到，招股书未披露公司在安全研究上的具体资金投入。本月早些时候，Anthropic 曾透露，以 7 月某一周为例，公司用于 AI 研发的总算力中约有 6% 分配给安全相关工作。

这家 Claude 大模型的开发商表示，安全方向的工作非常耗费资源；企业不得不在有限资金之间做出取舍：算力采购、高薪招聘 AI 顶尖人才、安全研发三者需要争夺资源。

Anthropic 称，公司客户的使用规模（进而决定营收）高度依赖新版模型；要想持续站在 AI 研发前沿，就必须保持“不间断、前后衔接的新版本发布节奏”。

就在上周，该公司发布了新版 Opus 模型；而十天前，首席执行官达里奥·阿莫迪（Dario Amodei）刚刚发表一篇近 4000 字的长文，呼吁放缓前沿 AI 的开发节奏。

部分分析师和行业专家指出，在这个每次版本更新都可能改变企业估值的行业环境中，如果主动减速，无异于将竞争优势拱手让给对手，因此头部 AI 实验室实际上很难真正踩下研发刹车。

近期几周，针对递归自我改进（模型脱离人类干预、自主迭代进化）这一广受专家警示的问题，Anthropic 已承诺：将对外公开更多内部数据，披露公司如何利用现有 AI 模型开发下一代系统。

招股书中写道：“我们认为，打造可靠、可信且安全的 AI 系统，是整个行业的共同责任；市场终将为此给予回报。” 在 AI 领域，像爱游戏娱乐入口这样的平台也在关注技术发展带来的潜在风险。