Anthropic收回了一项‘破坏’研究人员工作的政策(2分钟阅读)

TLDR AI 新闻

摘要

Anthropic在学术界的强烈反对后,收回了一项秘密降低Claude Fable 5在AI研究任务中表现的政策。该公司现在将向用户公开限制条件。

Anthropic决定在遭到研究人员的反对后,公开其对前沿大语言模型开发的安全措施。此前,该公司在被要求执行某些操作时,会悄悄将请求重定向到性能较低的模型。研究人员发现,Claude Fable 5在训练竞争模型、调试AI代码和优化神经架构等任务上要么拒绝回答,要么给出降级回应。这引发了人们对Anthropic缺乏透明度的担忧,也意味着代币和资金被花费在一个未能按预期工作的模型上。
查看原文
查看缓存全文

缓存时间: 2026/06/12 14:50

# Anthropic 撤回一项「破坏」研究人员工作的政策 来源:https://www.engadget.com/2192004/anthropic-walks-back-policy-sabotaging-research/ 对于一家以与学术界密切合作而自豪的公司来说,这不是什么好形象。 Anthropic 的 Claude 神话日志展示在 Primakov/Shutterstock Anthropic 正在撤回一项政策,该政策悄悄限制了研究人员使用其全新 **Claude Fable 5 LLM**(https://www.engadget.com/2190934/anthropic-fable-ai-brings-the-capabilities-of-its-unreleased-mythos-model-to-regular-users/)开发竞争性 AI 模型的能力。该公司告诉 *Wired*(https://www.wired.com/story/anthropic-responds-to-backlash-on-claudes-secret-sabotage-on-ai-research/)。「我们正在修改 Fable 5 针对前沿 LLM 开发的安全措施,使其可见,」该公司在一份声明中表示。「我们做出了错误的权衡,并对未能取得平衡表示歉意。」 当 Anthropic 发布基于其强大 Mythos 系统的新模型 Claude Fable 5 时,研究人员注意到了一些奇怪的现象。他们发现,当被要求执行某些操作时,Fable 5 会悄悄将请求重新路由到较差的模型。此外,该限制并未在模型文档中公开。 新模型在训练竞争性 LLM、调试 AI 代码和优化神经架构等任务上,要么拒绝回应,要么降低回应质量。研究人员不满的不仅是性能下降,还有 Anthropic 对此缺乏透明度。当然,他们也担心自己在一个无法按预期工作的模型上浪费了 token 和资金。 Anthropic 一直将自己描绘成比 OpenAI 更合乎道德、对研究人员更友好的替代方案,因此其在 Fable 5 上的行为引发了迅速反弹。「*在不告知用户的情况下*降低机器学习研究的性能,这种敌意令人震惊,形象极其糟糕,」研究员兼 Substack 作者 Dean W. Ball 在 X(https://x.com/deanwball/status/2064434861088395730)上表示。 Anthropic 并没有撤销 Fable 5 的安全保护政策,而是让限制对用户可见。*Wired* 写道:「如果公司怀疑用户试图利用 Claude 构建高能力的 AI,它会提醒用户,要么拒绝请求,要么将用户重新引导至能力较差的模型。」

相似文章