标签
evals-skills 让编程 agent 帮助开发者搭建贴合自身产品的 AI 应用评测流程，先定位失败模式再设计评分，已在 GitHub 获得 1500+ star。该方法源自为 50 多家公司做评测及培训数千名学员的经验，包含 error-discovery、validate-evaluator 等技能模块。
Artificial Analysis 更新了 HLE Diamond 基准评测，显示开源权重模型在该高难度基准上落后闭源模型超过 30 分。
Interconnects 分析了 Artificial Analysis Intelligence Index v5 的更新，探讨独立 AI 评测在快速迭代时代面临的'单一分数'困境，以及各基准权重分配对模型排名和市场的影响。
Cognition 推出 FrontierCode 2.0，这是一项编程基准测试，用于评估模型提交的拉取请求是否真的会被维护者合并——考察的不仅是满足规格要求的能力，还包括智能水平、对代码库的熟悉程度和判断力。
CogArena 提出了一项基准测试，让智能体通过浏览器执行社会科学与行为科学中的10种实验范式，并评估了4种多模态模型，结果表明，完成实验与复现行为特征是两回事。
Artificial Analysis 发布 Artificial Analysis 智能指数 v5 和进展指数 v1，新增 FrontierCode 2.0、Terminal-Bench-Science 等基准测试，并将私有测试集占比提高至 60%。结果显示，Claude Opus 5.5（max）以 58 分领先，开放权重模型与闭源前沿模型的差距扩大至 12 分。
Artificial Analysis 发布了第 5 版 Intelligence Index（智能指数），更新了对前沿 AI 模型的综合评测排名，相关榜单可在 artificialanalysis.ai 查看。
Xplore 发布了 RWE-bench，这是一项涵盖 20 个现实世界机械、电气和航空航天工程任务的基准测试，采用基于程序的评分方式。GPT-6 Astra 以 37% 的通过率领先，远高于估算的人类基线水平。该帖子认为，可验证的实体工程基准测试提供了推动 AI 进一步发展所需的“计分板”。
本文将基准评测形式化为难度上的经验测度，识别出测度错配与覆盖缺口等失效模式，并提出了诊断指标以及 BenchFill——一种面向难度的目标化题目重写算法，同时在 7 个领域、25 个主流基准上进行了分析。
FrontierCS 2 推出了一项包含 48 个开放式计算机科学研发任务的基准测试，将大语言模型智能体置于真实的研究代码仓库中，并使用隐藏的评估套件进行测试；表现最好的智能体 Claude Opus 5.5 也仅在约 58% 的运行中通过测试。
Hugging Face政策主管Irene Solaiman在TechCrunch Disrupt上表示，嵌入式AI评估器和基准测试仍是一门不成熟、难以标准化的科学，她强调了可复现性、开放权重，以及评估智能体和运行框架（而不仅仅是模型）日益增长的需求。
作者设计并开源了 KillSwitch，一种专为对抗 LLM 和编码代理而构建的栈式编程语言，利用隐藏谎言规范、字符计数规则、触发安全护栏的语句等特性，并对主流 LLM 进行了基准测试，Claude Opus 5 表现最佳。
Mercor 的研究将 29 个主流 AI 基准映射到 O*NET 数据库中的 923 种职业和 18,797 项任务，发现仅有 208 种职业获得了较好的基准覆盖，约 90% 的美国工作时长所涉及的任务几乎没有现有基准进行评估。此外，基准覆盖偏向大型劳动力市场，忽视了大量中小型知识型工作。
作者推出了 whatmodel.sh，一个开源 AI 排行榜，汇总了 987 个基准测试中的 22,113 项公开基准测试结果，显示中国的开源权重模型目前仅落后美国闭源模型 7 个月。该数据集和评分代码均以开源许可协议发布。
FrontierCode 1.1 现已上线 Artificial Analysis；它与开源项目维护者共同打造，是首个衡量端到端代码质量与可合并性的基准——即维护者是否真的会合并该 PR。
Celeris 声称其 Celeris-1 Decision 模型在 jev-bench 上达到 80.0%，略高于 Decider v1.1 的 79.0%；Zekiworks 指出此前测试中 1 分差距并不具备可检测性，并将用相同 2,198 道题重新测试。
AI 评测平台 Arena 完成 2 亿美元 B 轮融资，估值达 31 亿美元，10 个月内估值近乎翻倍。该公司同时推出新的 AI 对齐（alignment）排行榜，用于评估模型的越权行为、错误归因和欺骗性完成等问题。
Epoch AI 发布观点，指出当前大语言模型在科学创新与研究能力上仍与人类研究者存在显著差距，尚需较长发展时间才能匹敌人类水平。
一篇介绍直觉视觉推理基准测试（"人类的第六感"）的新论文，旨在评估多模态 AI 模型的感知直觉能力。
一篇探讨 Anthropic 的 Haiku 5.5 模型的文章，分析其在"熔岩灯测试"中表现不佳。该测试是一项用于考察模型行为与推理能力的评估。文章指出了这类侧重速度的小型模型所存在的不足。