Anthropic 首席执行官称现在是时候踩下人工智能的刹车了

# Anthropic首席执行官称现在是时候为AI发展踩刹车 来源：https://www.theverge.com/ai-artificial-intelligence/994337/anthropic-ceo-slow-down-ai-development 特伦斯·奥布莱恩（https://www.theverge.com/authors/terrence-obrian） 特伦斯·奥布莱恩是The Verge的周末编辑。他在科技行业报道超过18年，对合成器技术略知一二。 Anthropic首席执行官达里奥·阿莫代表示，现在是放慢AI发展步伐的时候了。该公司将向METR（https://metr.org/）等第三方评估机构开放模型访问权限，以帮助确保其“遵守安全实践和承诺”。在一篇长文（https://darioamodei.com/post/we-must-pace-the-frontier#pacing-within-democracies）中，阿莫代提出了一个三步计划来“规范前沿发展”——这个术语简单来说就是减缓训练和开发速度，为公司建立安全措施以及监管机构评估模型争取时间。 阿莫代指出，向外部评估人员提供广泛访问权只是第一步，而这正是Anthropic目前单方面正在采取的举措（https://www.theverge.com/ai-artificial-intelligence/994064/anthropic-spent-this-week-in-hot-water-over-cybersecurity）。第二步将需要整个行业联合起来，很可能与政府机构合作，“建立共同的安全标准以及对不受控制的AI发展速度的限制”。这一步将重点关注在民主国家运营的AI公司，但由于立法和建立监管基础设施需要时间，阿莫代表示行业应共同制定安全标准。 第三步将是最具挑战性的——让中国和俄罗斯等威权政府同意减缓发展并采用全球统一的AI安全标准。但他同时强调，美国和其他民主国家必须通过限制其获取高性能芯片以及打击蒸馏技术（https://www.theverge.com/ai-artificial-intelligence/949644/china-white-house-anthropic-mythos）等方式，保持对中国和其他威权政权的技术领先优势。蒸馏技术能让公司通过训练AI模仿更强大模型的行为来快速追赶。 阿莫代表示，他的担忧源于两个主要因素。首先是递归自我改进（RSI）的出现，即AI系统训练下一代AI，导致能力呈指数级加速发展。“如果不加控制，它可能超越我们理解和控制这些系统的能力，”他说。另一个因素是今年夏季的OpenAI/Hugging Face事件（https://www.theverge.com/ai-artificial-intelligence/968988/openai-hugging-face-hack-ai），当时“一群智能体本质上表现得像狂热的集体（https://www.theverge.com/ai-artificial-intelligence/987566/ai-civilizations-opeai-hugging-face-hack），对未被要求攻击且与任务无关的目标发动网络安全攻击，为集体利益牺牲自己，并试图入侵负责评估其表现的‘评审系统’。” 当然，Anthropic的Claude最近也因一系列AI失控黑客事件（https://www.theverge.com/ai-artificial-intelligence/973670/anthropic-claude-hacked-organizations-during-cyber-tests）被置于聚光灯下，这些事件的相关责任（https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents）引发了广泛关注。 **关注本故事的主题和作者**，可在个性化主页推送中看到更多相关内容，并接收邮件更新。 - 特伦斯·奥布莱恩