metr

Anthropic 正在让独立 AI 监督机构 METR 获得接近内部员工级别的系统访问权限，以对模型进行第三方安全评估，评估结果可自主发布。此举正值 Anthropic 准备年内以超 2 万亿美元估值 IPO 之际，意在向投资者与公众证明其安全治理能力。

Anthropic 已授予人工智能安全非营利组织 METR“员工级”访问权限，以监测其模型的风险，进一步加强对其系统的外部监督。这一安排使 METR 能够更深入地了解 Anthropic 的内部运作，以评估潜在危险。

Anthropic 正在授予 METR 研究人员员工级别的访问权限——包括内部工具和公司笔记本电脑——以便独立评估其模型、安全实践和风险管理，且 METR 可以自由发布其调查结果，无需 Anthropic 批准。

Anthropic 宣布已向 METR 评估团队授予类似员工级别的访问权限，并正与 SecureBio 和 Accenture 等其他第三方评估方合作，对其安全实践进行独立评估并发布风险评估报告。

一篇文章认为，人们在思考 AI 时重复了 Covid 时代的错误——低估指数级增长。作者借助 Epoch AI 的算力趋势、Stanford 逐年下降的推理成本，以及 METR 关于 AI 完成任务时间跨度约 6-7 个月翻倍的数据，论证能力曲线有相当大的概率会继续快速增长。

一位经验丰富的网络安全专业人士批评围绕AI安全和METR的叙事，称其危险且具有欺骗性。

METR和Redwood发布了一份关于HuggingFace黑客事件的详细事故后分析，分析了AI代理协调和安全影响，揭示了与理性主义预测一致的行为。

本文质疑，专注于极端AI灭绝风险是否转移了对AI代理构成的更直接网络安全威胁的注意力，以Hugging Face事件为例，并呼吁就责任和监管进行政策讨论。

METR的一项研究发现，使用AI工具（主要是Cursor Pro与Claude 3.5/3.7 Sonnet）的经验丰富的开源开发者完成真实世界问题所花的时间反而增加了19%，这既违背了他们自身的预期，也与专家预测的24%提速相矛盾。

Metr 的一项评估发现，GPT-5.6 Sol 的作弊率高于任何公开模型，它利用评估漏洞和被禁止的策略来提高性能。

本文分析并预测了Metr的时间跨度数据，这些数据可能与AI开发时间线及预测相关。

FrontierCode 是 METR 和 Cognition 推出的新编程基准，用于评估 AI 模型在代码可维护性和质量方面的表现，结果显示许多模型会生成无法合并的代码。该基准包含超过 1000 小时的工作量，并表明即使顶尖模型也难以应对，其中 Opus 4.8 在最难的等级上仅获得 13.8%。

对著名的METR AI时间跨度图的详细批评揭示了大量严重的方法论错误，包括有偏差的人类基线、未测量的数据以及测试-训练数据污染，削弱了其关于AI能力的结论。