ai-benchmarks

文章批评了一个病毒式传播的AI基准测试，该测试声称Grok 4.6得分为1753，而人类专家为1000。文章指出，该测试基于AI输出之间的偏好比较，而非客观正确性，因此外观精美的工作可能会获胜，但未必真正更好。

对 Grok 4.6 基准测试结果的评论，认为 xAI 并未击败 Anthropic 或 OpenAI，但仍在中上游区间保持竞争力。

讨论了古德哈特定律如何削弱对AI基准的信任，因为指标一旦成为目标，就会失去作为评估标准的有效性。

METR的一项研究发现，使用AI工具（主要是Cursor Pro与Claude 3.5/3.7 Sonnet）的经验丰富的开源开发者完成真实世界问题所花的时间反而增加了19%，这既违背了他们自身的预期，也与专家预测的24%提速相矛盾。

DeepSeek v4 flash 发布版本似乎已在 API 上激活，开放权重即将到来，可能在其重量级中超越竞争对手。

据报道，KIMI K3 在 arena.ai 基准测试中表现优于 Claude Fable 和 GPT 5.6。

文章质疑为何美国开源AI实验室未能像中国同行那样取得顶尖的基准测试结果，凸显了两国在开源AI发展方面的明显差距。

字节跳动的Seed团队发布了Seed2.0模型卡，详细描述了一个旨在弥合实验室基准测试与现实世界软件工程之间差距的模型。该卡重点介绍了部署层级、性能比较，并坦诚承认了与前沿模型之间的差距。

简单解释AI基准测试、分数含义，以及为何100%不代表AI无法进一步改进。

OpenAI审计了SWE-Bench Pro编码基准，发现约30%的任务存在故障，因此撤回了此前将其作为主要编码评估的建议。

正在进行一项针对本地运行AI模型的行星级测试，很可能是在不同环境中对其性能进行基准测试。

这篇文章推测当所有AI模型在基准测试上都达到100%时会发生什么，质疑它们将如何展示优越性。

Gemini Omni Flash 已凭借 1404 的 Elo 分数在 Video Arena 排行榜上位列总排名第一，领先 Seedance 2.0 Mini 101 分。

Ivo Benchmarks是一款法律AI工具，它超越简单的PDF总结，将整个公司的谈判历史导入合同审查中。它根据过去的处理方式对每个条款进行评分，从而在合同谈判中做出更明智的决策。

GLM-5.2 是一款新的开源AI模型，为开放模型树立了高标准，但仍在追赶专有前沿模型，并且缺乏一些功能，如视觉功能。

本文质疑当前的AI基准测试是否足以评估AI在实时、后台环境（如语音通话、自动驾驶和智能眼镜）中的表现，因为这些测试假设用户已做好准备。

讨论近期AI模型在'Humanity's Last Exam'基准测试中的得分，指出从2024年5月GPT-4o的2.7%提升至2026年6月左右45%，并对该考试的难度提出疑问。

阿里Qwen3.7-Max模型在陌生T-Head PPU硬件上，无需人工引导，自主优化生产内核长达35小时，进行1158次工具调用，实现10倍速度提升，展示了持续的自主智能体行为。

前Meta新闻主管坎贝尔·布朗创办了Forum AI，旨在评估基础模型在地缘政治、心理健康等高风险话题上的准确性，通过专家主导的基准测试来提升AI的真实性。

来自interfaze_ai的新AI模型声称在OCR、视觉和语音转文字任务上超越领先模型（sonnet 4.6、gemini 3 flash、gpt 5.4 mini）。