evaluation

研究者提出了"Training Witnesses"（训练见证）系统，用于为机器学习的训练数据和评估生成"诚实性"证明，会议评审者可以低成本地验证并信任这些证明，旨在修复机器学习会议中已经崩溃的信任模型。

KlinikeBench 引入了一个由临床医生验证的基准，包含 333 个交互式临床任务，要求大语言模型在限定的对话轮次内采集患者病史、使用临床工具并得出诊断。在评测的 31 个模型中，表现最好的模型（如 GPT-6-astra、Claude Opus 5）尽管诊断准确率达到 90.7%，任务成功率却不足 30%，揭示了诊断知识与真实临床交互能力之间的巨大差距。

本文提出 ContextAdapt，一个评估框架，用于测试 12 个大语言模型在不同专业领域（医学、法律、金融、国家安全）中对诚实、自主性和保密性等价值观的适应能力。模型在恰当性评分上表现较高，但无法一致地应用特定领域的论证依据，暴露出在利害关系变化时出现的局部性失败。

这篇 NeurIPS 2026 工作坊论文提出了 Long-Transduction——一个受控的诊断基准，用于衡量模型在长生成过程中维持有状态、依赖上下文的操作的能力。在对七个开放权重模型的评估中，论文发现，当上下文长度扩展（最高达 128K）、输入格式变化以及局部任务复杂度增加时，模型性能会出现严重退化。

这篇 arXiv 论文研究了语言模型在着手化解矛盾之前，如何判断两项科学发现是否具有可比性。在一个受控任务中，不可满足的 XOR 约束被翻译成实验报告；当约束条件显式给出时，GPT-5.6 Sol 和 Claude Opo 5 都能很好地还原出最有力支持的赋值方案，但当研究发现以科学散文的形式呈现时，模型往往倾向于遵从生物学上的既有预期。

Veris AI 推出 VAmoS Energy，这是一个难度更高的语音代理基准测试，结合了多请求公用事业账单通话、有状态的 Stripe/Fineract 数字孪生、来电者身份验证关卡以及背景语音环境。测试发现 14 套语音技术栈的完成率介于 17.3% 至 44.7% 之间，其中 Grok Voice 表现最佳；背景电视噪声使整体完成率从 38.7% 骤降至 8.6%。

论文提出了 CHOIR（Collective Hierarchically-Ordered Inquiry Responses，集体层级有序问询响应）框架，将认知人类学中的自由列表引出法引入其中，用于探测和量化 LLM 集成在表面一致性之下隐藏的多样性，并发现基础模型身份是可识别的最强信号，能够区分不同的模型声音。

SimuVerity 提出了一个包含 101 个文本到可执行 Simulink 模型生成任务的基准，覆盖十个工程领域，并采用分层评估器在结构相似性之外对工程资格进行评估。表现最好的被评测智能体系统得分仅为 42.86，揭示了工程级模型生成中的重大能力瓶颈。

该论文提出了 Ego2Act，一个包含 110 个真实世界任务、共 2,640 段第一人称视频的目标导向基准，用于评估视频生成模型能否模拟多步物理操作；同时提出 Ego2Act Judge，一个无需参考视频的评估流程，在与人类对任务完成度和物理合理性的判断对齐方面表现更佳。

VTR-Bench 提出了一个用于评估视频生成模型视觉文本渲染能力的系统性基准，涵盖五大场景类别共 300 条提示词、一套与人工评价对齐的自动化评估流水线，以及一个关键帧引导的智能体框架（Keyframe-Guided Agentic Framework）。在 11 个最先进模型上的实验表明，场景文本渲染普遍面临困难，表现最好的模型词错误率（WER）为 0.250。

Argo-Bench 提出了一个包含 210 项企业级数据科学任务的评测框架，构建于一个模拟外卖平台之上，该平台拥有一个包含 235 张表、75 亿行数据的 ERP 数据仓库。该框架测试的智能体需要在数据中进行导航并采取行动，而非仅仅生成 SQL。在 14 个前沿模型和开源权重模型中，表现最强的模型平均得分也仅为 59.5 分，凸显了数据智能体在真实场景下能力上的显著差距。

PROWBench 引入了 170 个通过程序构建的片段和 600 个代理视频，旨在评估生成式视频模型是否能忠实渲染程序所指定的世界动态，并通过基于 VLM 的度量指标来衡量逻辑与渲染的对齐程度以及交互成功率。

本文提出 **Sharpening Tax（锐化税）** 这一指标，用于量化大语言模型在 RL 后训练中 pass@1 提升但解空间覆盖度（pass@K）下降的现象；并提出 **后验退火组采样（Posterior-Tempered Group Sampling, PTGS）**——一种即插即用的贝叶斯采样器，能按提示词自适应调整温度，在提升单次生成准确率的同时降低这项税负。

该论文提出"模式跳变"(mode-hopping)概念，指出LM预训练中平滑下降的损失与稳定基准分数会掩盖模型答题方式的突变（如OLMo3-32B在算术提示上81%→0%→81.7%的反复），并通过六项廉价行为测试排除了评估指标非线性与局部优化波动等简单解释。

一篇实操指南，介绍如何利用真实的 Reddit 讨论串构建一个小型测试集，检验大语言模型（LLM）在回答真实世界问题时是否保留了隐藏的约束条件（隐私、仅限离线、安装限制等）。作者提出了一种基于答案要点（answer key）的工作流：将违反约束计为失败，并把听起来有说服力的行文与正确性区分开来。

O'Reilly 的一篇介绍《Agentic Data Science Playbook》（智能体数据科学操作手册）的文章——AI原生数据科学家如何将分析任务委托给AI智能体，同时负责设计工作流、验证机制和反馈闭环。文章使用修改过的 Elliptic 比特币欺诈数据集进行实验：Claude Opus 5.0 最初报告了虚高的结果（F1 达 0.87），原因是一个时间切分错误以及一个人为植入的泄漏特征；在获得正确的引导后，修正后的性能下降至 F1 为 0.70，在高节点度数节点上的召回率仅为 0.21，这说明专家监督仍然至关重要。

GPT-6.1 Sol 在 Humanity's Last Exam（Diamond）排行榜上位列第三，标志着前沿 AI 基准测试性能的一个重要里程碑。

LangChain 推出了 Engine，它通过读取 traces 和代码仓库来了解你的 Agent 的工作原理，然后针对 Agent 特有的薄弱环节进行测试，例如幻觉和系统提示词违规，并返回一份已验证的问题清单，供你在这些问题影响用户之前加以修复。

一位记者用15道研究级别的问题（均来自此前报道）对GSA新推出的America.gov AI助手进行了压力测试，结果为9道正确、6道不完整、零次幻觉。不过，该系统漏掉了已可公开获取的数据，且对信息来源缺乏透明度。这一结果表明，该工具在缺乏信息时会拒绝编造，但无法确认政府尚未公布的内容。

PADMÉ 将语言模型智能体评估器的元评估重新表述为一个偏好对齐问题，并提出了一种仅使用小型语言模型的数据合成方法。与朴素基线相比，该方法将与人类判断的一致率从 73% 提升至 85%，同时能够在智能体领域对 25 个常见模型进行评估。