20 余名行业领袖示警“智能爆炸”，Anthropic、OpenAI 高管呼吁关注 AI 自我改进

据彭博社9月28日报道，Anthropic、OpenAI、Meta和微软的高层管理者共同向政策制定者发出呼吁，要求密切关注AI系统自我改进的进展程度，并采取必要措施确保AI技术的安全性。

20多位AI领域的领军人物和研究人员在一份新发布的报告中提出警告，利用AI来加速下一代模型研发的自动化趋势正在兴起，这可能导致AI技术的进步出现突然加速。

报告作者将这一现象定义为“智能爆炸”。如果这种情况发生，AI能力的发展速度或会超越社会引导和适应AI技术的能力。参与撰写报告的人员包括Anthropic联合创始人杰克·克拉克、OpenAI首席科学家雅库布·帕乔茨基，以及AI先驱杰弗里·辛顿、约书亚·本吉奥等人。

研究人员还指出，AI研发自动化可能削弱人类的监督作用。

消息来源显示，报告呼吁政策制定者更深入地了解顶尖AI实验室利用AI实现研究自动化的程度，同时建立能够“引导和约束智能爆炸”的机制，包括提高安全标准，并加强对承担自动化AI研发任务的数据中心的监管。

研究人员还建议针对不同的AI快速起飞情景提前制定应急响应方案。“初步证据表明，软件驱动的智能爆炸有可能发生。如果确实发生，它可能成为历史上影响最深远的科技变革。……与潜在后果相比，我们的准备尚显不足。”

报告列出了政策制定者应考虑采取的行动。“一旦智能爆炸开始，采取行动的窗口期可能就会关闭。”