标签
GitHub 发布了 ReviewBench，这是一个针对 AI 代码审查智能体的开源基准，基于对 1.039 亿个 GitHub pull request 的分析构建，包含覆盖 19 种编程语言的 219 个 PR 语料，并提供多来源的 ground truth 以及精确率/召回率指标，帮助团队评估和比较自己的审查智能体。
MoralityBench.ai 是一项新基准，将道德心理学测试改造为评估 AI 模型的工具。研究发现，大多数模型的道德回答在多次运行之间存在显著差异——这表明大语言模型的道德判断并非确定性的。
本文提出了基于本体的上下文 AI 评估（Ontology-Based Contextual AI Evaluations，OB-CAIE）方法学，该方法利用领域特定本体和评估过程本体，为生成式 AI 测试带来科学严谨性、可追溯性和可复现性，同时在人类专业知识与自动化之间取得平衡。
Mercor 聘请了 12 名持证注册会计师（CPA）来完成其 APEX-Accounting 基准测试中简化的月末结账任务。结果显示，前沿 AI 模型如今已能获得满分，且成本仅为最优秀初级会计师的约五十分之一；在短短 18 个月内，AI 的准确率就从低于人类平均水平提升到了 100%。
本文提出决策检查点审计——一种轨迹层面的测量方法，将科学检索智能体的失败划分为目标暴露、查阅以及答案正确性三个阶段。研究发现，在AutoResearchBench Deep基准上，关键词检索策略与先读后答策略虽失败分布不同，却达到了完全相同的24.6%准确率。
Artificial Analysis 发布了对 Gemini 4 Argon (High) 的评测分析，涵盖其在 Intelligence Index v4.3.2 以及各项能力基准测试（如 AA-Briefcase、AA-Omniscience 等）上的智能与性能表现。
本文讨论了一个基准测试，其中编程代理将科学流程图重建为可编辑的PowerPoint幻灯片，认为可编辑制品通过揭示结构理解而非像素级复制，能更好地测试视觉理解。
Livenerf 是一个确定性基准测试工具，旨在检测AI模型在发布后是否性能下降，目前正对 Claude Opus 5.5 进行为期30天的研究，以测量性能漂移。
Reality Check 发布为一个排行榜和公共机器人操作基准测试，涵盖14,400个真实世界部署，横跨四个模型、多个任务和数据模式。
PacBench是一个基准测试，评估AI模型一次提示生成吃豆人游戏的能力，提供源代码、模型标签和各种运行的性能统计。
本文介绍了BioEVAL，一个全球多机构基准，旨在评估生物工程应用中的大型语言和多模态模型。
本文审计了生产环境Text-to-SQL流水线中LLM-as-Judge的表现，发现其与人工标注者的一致性较差，并提出使用自托管的Qwen模型和集成方法进行修复，以提高可靠性并降低成本。
AutoDataBench 引入了一个基准测试，用于评估智能体能否为数据管道编写符合实际验收标准的任务，旨在实现 AI 递归自我改进的可扩展数据合成。
本文评估了 GPT-6 Astra 在 34 项计算机视觉能力上的表现，揭示了其在语义解释和推理方面的强大性能，但在度量几何精度和专业细粒度知识方面仍存在持续差距。
本文介绍了SolveEdit，一个通过场景变换评估生成模型视觉问题解决能力的基准测试，并提出了SolveEdit-PLAN以提升性能。
一位工程师测试了14个AI模型，向它们展示了20个来自2026年的真实AI事件，且无网络访问权限，发现模型对这些事件的平均可能性评分仅为36%，凸显了其自我预测能力的显著差距。
ImageJevBench v0.1 被介绍为一个用于评估 AI 模型在图像决策任务上的基准，基于性能、成本和校准指标对系统如 Jev-Omni 和 decider-2b-vision 进行排名。
本文提出 SCALE，一种顺序成本感知的假设检验策略，该策略利用 AI 判断并辅以选择性的人工验证，在控制错误率的同时最小化成本，可应用于软件可靠性评估等场景。
本文介绍了Duplex-MPE，一个用于评估AI助手在多方全双工对话中的基准，包含2000个场景，评估模型在响应启动、准确性和静默保持方面的表现。