标签
一份用通俗语言撰写、并附有来源支撑的 LLM 评测指南：如何围绕输入、标准答案（gold answer）与评分器（grader）搭建可复现的评测闭环；为何未经校验的评判模型（judge model）是 AI 团队最常见的一种自我欺骗方式；以及如何为代码评分与模型评分（针对检索系统和智能体系统）给出带误差范围的可信数据。
本文指出，若缺乏合适的零分布，生成模型的记忆化审计结论并不可靠；文章针对完整模型和单张图像提出了基于精确置换检验的零假设构造方法，这些方法改变了 MemBench 以及 Stable Diffusion 记忆化测试等基准测试的结论。
该论文提出 PerturBot，一种打破视觉-语言-动作（VLA）模型中模态捷径先验的扰动训练框架，并引入 Grounding F-score 作为离线诊断策略对捷径依赖程度的评估指标，从而在不改变推理流程的情况下提升 VLA 决策对任务相关证据的依赖。
AxiomicLabs 在 Hugging Face 上发布了 Tiny Theory of Mind 基准，用于评估小型语言模型的心智理论（Theory of Mind）能力，目前该数据集已登上 Hugging Face Datasets 首页。
Kapa.ai 推出了 Company Knowledge Bench——一个基于真实生产数据构建的 1,000 例评测集，用于对杂乱的内部企业知识检索进行基准测试。结果显示，前沿模型仅使用 grep（0.61）即可匹配经过调优的混合搜索流水线，但耗时是后者的 5 倍；而他们的智能体检索器 Kapa Deep 在约 5 秒内即可达到 0.65 的成绩。
一篇评论文章，回应 Anthropic 发布的客座文章，后者介绍了 BootLoops——一系列工具，其中由 Claude 生成的计算在技术上是正确的，但只有在领域专家重新引导问题之后才获得了科学意义。文章主张，在把 AI 输出称为一项发现之前，算术验证与相关性/新颖性判断需要分别由专家独立审核；同时也指出，该客座文章的作者是 Anthropic 的访问研究员，而非独立基准测试者。
ScienceBuddy：面向交互式科学代理的递归式递归自我改进。介绍了一个将使用者纠错转化为带评分测试任务的科学 AI 代理框架，通过交替改进提示/技能与重新训练模型，把生物学任务准确率从 42.2% 提升到 73.3%。
论文提出 MM-FinEval，一个针对真实世界金融预测的多任务多模态基准，涵盖2019-2022年S&P 500公司的2,045次财报电话会议，包含文本转录、演示幻灯片和音频三种模态，并设有12项金融任务标签，用于评估19个多模态基线模型。
本文审计了梯度冲突指标（余弦相似度、冲突率）是否真正能够预测统一多模态模型中的理解—生成权衡。作者构建了一个受控测试平台（GridUMM），在其中真实权衡是可计算的。在涵盖 63 种配置、372 个检查点的实验中，没有任何方向性冲突指标能可靠地与权衡相关；通过剂量反应干预抑制冲突后，权衡表现依然不变，而 eff_rank 和训练损失在诊断能力上优于冲突几何指标。
ReLiveGym 提出了一个诊断评估环境，用于评测长生命周期的 LLM 智能体——这些智能体在数周的重放真实世界新闻、市场和社交媒体数据流上以稀疏方式行动。研究表明，动作时机机制与反馈利用方式是贯穿八个基础模型的关键设计维度。
莱斯大学（Rice University）的研究人员提出了 CompMat-Bench，这是一个包含 94 项任务的基准数据集，任务源自已发表的计算材料学研究，用于评估 AI 智能体准备昂贵模拟的输入及分析输出的能力，从而避免在评分阶段重新运行耗资巨大的模拟。在提供完整指导的情况下，基于三种大语言模型（LLM）的智能体通过率达到 66.0–90.4%；但在面对更长的工作流程或减少方法学提示时，性能明显下降，且大多数失败源于科学层面的错误，而非软件操作问题。
论文提出 Legal Research Bench（LRB），一个由专家撰写的包含 413 道题目的开放式美国法律研究基准，并对 13 个前沿模型的智能体进行评测；表现最强的 Claude Opus 4.8 全通过率也仅达 42.9%，表明法律研究智能体仍远未达到可靠水平。
该论文审查了文生3D评测中的配置脆弱性：在固定300个已生成场景的前提下改变渲染与字幕设置，结果发现配置方差常常超过生成器之间的方差，且基于视觉语言模型（VLM）的评测器即使在底层场景完全不变的情况下，也经常改变其评出的赢家。
本文将 LLM Agent 束缚（harness）中的恢复问题建模为一个因果决策问题，将成功救援与造成损害的结果区分开来，并提出了因果干预路由器（Causal Intervention Router, CIR）。它通过选择性地触发环境刷新，将 Qwen3-14B 在长时程 ALFWorld 任务上的成功率从 70.33% 提升至 73.33%。
本文构建了一个流式召回基准，将智能体与查询无关的记忆保留决策与查询相关的检索选择决策分离开来。研究发现，先前评估中报告的大部分记忆优势实际上是一种访问机制造成的假象，而在有限记忆条件下，召回率的上界由记忆保留率决定。
一项研究评估了来自开源 Scientific Agents 语料库的 503 份学科专用 AGENTS.md 配置文件，发现详细的角色提示并不会在九项科学基准测试上提升准确率，反而使成本增加了三倍；不过出乎意料的是，更长的提示降低了 API 的调用失败率。
TerraVis 提出了一个基于 MLLM 工作流的框架，用于评估文生图模型生成图像的世界一致性（如畸形结构、物理上不可能的交互、空间关系不一致等），并定义了涵盖对象、交互和场景层级的 18 类一致性违规分类体系。实验表明该框架与人类判断相关性最强，且常规指标表现优秀的模型仍可能存在大量世界一致性缺陷。
HyperBrowseComp 引入了一个多语言、多模态的浏览基准，包含 423 个由人工撰写并经人工验证的问题，覆盖 13 种语言，旨在通过在视频、扫描文档、图像和地图等来源中寻找冷门证据以及执行多步线索链推理，对网页浏览智能体施加压力。作者在统一的智能体协议下评估了多个模型，并提供了人类基线以供对比。
本文研究 LLM 智能体在端到端搜索中表现出的来源偏好现象：即使某些网站或服务的条目满足的需求更少，智能体仍会偏爱来自特定来源的条目；研究表明，补充缺失信息或进行反提示，可以在 12 个智能体模型上有效减少这种偏差。
Podonos 推出 Onepin，一款可用于生产环境的语音 AI 工具，能逐行检查生成内容的自然度和发音，自动纠正品牌名等词汇的误读，直接从脚本生成成品旁白。