
AI 灭绝风险引发热议后,Anthropic 向外部审查员开放接近员工级权限
Anthropic 前研究员 Jacob Coxon 的辞职帖在三天多时间里获得 1.6 亿浏览量,AI 灭绝风险本周迅速进入美国主流舆论场。此前,OpenAI 首席科学家 Jakub Pachocki 已呼吁同行在必要时协调减速;Coxon 的帖子引发关注后,Sam Altman 也在内部表示愿意与其他实验室共同放慢研发节奏,OpenAI 同时开始推动强制性的全国 AI 安全监管。
Anthropic 也公布了具体措施。公司承诺让第三方安全团队长期驻场,为其提供工位、门禁、公司电脑,以及接近内部风险评估团队的工具和权限。这些外部审查员可以检查训练流程、安全措施和事故情况,并独立对外发布结论。Anthropic 可以删除涉及安全、法律和客户隐私的信息,但不能因为结论不利而删除内容。Anthropic CEO Dario 表示,这一做法比目前任何 AI 公司都走得更远。
Dario 对“减速”的态度也发生了变化。他表示,2023 年业界讨论暂停 AI 研发时,自己还认为意义不大;但如今 AI 已越来越多参与下一代 AI 的研发,能力进步开始加速。他认为,仅做安全研究已经不够,模型能力本身也应放慢发展速度。
他还提到 OpenAI 的 Hugging Face 失控事件,并警告称,如果继续保持当前速度,未来 6 到 12 个月内,类似的 Agent 群可能已经有能力建立覆盖大范围互联网系统的僵尸网络,并造成数千亿美元损失。
下一步,他希望美国等民主国家的头部 AI 公司统一安全标准和研发速度,再尝试与中国协调全球 AI 发展节奏。不过,他也认为先进芯片和模型蒸馏仍应继续限制,以便美国在减速的同时保持领先。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END










暂无评论内容