benchmark

一名《Wired》记者部署了一群AI智能体来管理一支梦幻英超联赛球队，结果发现它们的表现仍然不如人类；与此同时，新研究显示GPT-5等前沿模型在真实世界的预测任务中越来越出色，并在Prophet Arena等预测基准测试中表现突出。

作者们衡量了项目规则被编码智能体获取的程度，发现 Claude Code 在没有文档的情况下仅能获取所需规则的 32%（有文档时为 54%，使用他们的 Segmently Modules 配置时为 70%），而 Serena、Trail 和 Graphify 等代码索引工具带来的提升甚微。他们发布了“the stand”，这是一套采用 MIT 许可证的开源上下文召回基准测试工具包，以 Claude Code 插件的形式运行，使用真实的历史任务进行测试。

Andon Labs 发布 Blueprint-Bench 2，评估 AI 在物理 3D 理解上的表现，结果显示 AI 已在该基准上追平人类水平。

一位 Reddit 用户分享了 Gemini 的 Carbon Arena 基准测试结果，并指出其表现明显优于之前的 Argon 模型。

桑达尔·皮查伊宣布推出 Gemini 4 Carbon，这是谷歌最新的前沿模型，在 Argon 发布仅两周后便登上 Artificial Analysis v5.0 排行榜榜首，埃隆·马斯克回应称：“令人印象深刻。”

Google 在 Argon 发布仅两周后便推出 Gemini 4 Carbon，在 Artificial Analysis 指数上以 59 分跃居第一，超过 Opus 5.5 和 GPT-6 Astra。其长上下文能力实现重大飞跃，在 GraphWalks 百万 token 测试中达到 96.2%，但在编码基准上仍有落后。

Gemini 4 Carbon 位居 Artificial Analysis V5 综合排行榜第一，显示出其在多项基准测试中的领先表现。

谷歌的新款 Carbon 模型以 59 分的成绩首次登上 Artificial Analysis 排行榜便位居第一，为该公司赢得了引人注目的榜首排名。

作者测试了 Strata 0.2.7.1 的两项路由优化（STRATA_ROUTE_PRIOR 和 STRATA_ROUTE_TAIL_SKIP）在 Qwen 3.8 Flash Next IQ3_S 上对编码、数学和指令遵循任务的影响，发现路由先验可大幅提升解码速度，且在长推理下质量损失基本可忽略。

论文提出了 ImagiRep——一个基于模拟器的基准，表明空间推理的收益来自超越 RGB 的多样化表征；同时提出了 GEARS——一种轻量级的测试时策略，可自适应地选择表征，以改进对未观测状态的推理。

Browser-Use 与卡内基梅隆大学研究人员合作发布了 Odysseys2，这是一个基于真实用户任务构建的高难度长时程实时网络智能体基准测试，其中最强的 SOTA 智能体仅完成了 100 个任务中的 47 个。

Surge AI 发布 DAYJOB: Tax 基准，使用 50 项专业税务任务评估 AI 智能体，Claude Sonnet 5.5 以 10.8% 通过率领先。

EMQX 报道了一项基准测试，结果显示 GreptimeDB v1.2.0 的数据写入吞吐量比 InfluxDB 3.11.1 企业版高出 31%，同时还对与 EMQX Tables 上的物联网遥测数据相关的查询和存储表现进行了比较。

一位 Reddit 用户批评 Artificial Analysis 的 v5.0 指数，指出其“最具吸引力”象限中没有任何开放权重模型，并称该图表如今更偏向闭源专有模型，而非 DeepSeek、GLM、Kimi 和 Qwen 发布的模型。

该论文提出了 EPSBench，一个用于评估 LLM 智能体季度盈利预测能力的基准，涵盖 86 家美国公司的 149 个公司季度数据。结果显示，各模型的预测区间覆盖率显著低于标称的 80%。

该论文构建了涵盖五种幻觉类型的二元基准（来自六个数据集的9,852个样本），比较了五种决策模型与生成式裁判GPT-6-sol在幻觉检测上的表现，发现决策模型在部分类型上以1-3%的成本匹敌或超越生成式裁判，但在逻辑与指令不一致类型上仍有差距且概率存在过度自信问题。

DocXEval 提出了首个面向多模态文档理解的综合可解释性框架，评估了 13 种 XAI 方法，涵盖 3 项任务、8 个数据集、4 个模型和 17 项指标，发现遮挡法（Occlusion）总体上是忠实度最高且最易于解释的方法。

该论文研究了在RAG知识冲突分类任务中使用类型化决策模型替代大语言模型的可行性，结果表明，决策模型在成本仅为其1/4至1/39、延迟更低的情况下，可达到或超过Gemini 2.5 Flash的准确率。

本文系统研究了基于大语言模型的奥林匹克竞赛级数学证明验证，介绍了一个经人工整理的 USAMO 2025 数据集（Trojan-Bench）、一套对抗性证明生成流程（TROJAN），以及一种基于多臂老虎机的评分框架 MABGrader。在对 20 个模型的评估中，MABGrader 的二次加权 Kappa 指标比 ProofGrader 高出 26.4%。

论文提出了 ChronoFake 基准和 DelSA（文档选择自更新智能体）框架，利用大语言模型提取事件时间线，并结合重排序器筛选证据，以检测通过打乱真实事件的时间顺序构造的时序错乱假新闻，其表现优于现有方法。