evaluation

一个 Meta 与密歇根州立大学的新论文发现，LLM 构建的推理图质量差异很大，其错误会传导到基于这些图计算出的答案和置信度中；研究测试了 9 个模型，指出图的质量更多取决于模型家族与图结构而非规模。

本文表明，在“指挥者任务”中，要求视觉语言模型在采取行动前回答指挥者能看到哪些积木，会显著改变模型的选择，使各款 GPT 模型选择隐藏积木的比例提高 12–88 个百分点，Qwen3.8-27B 则提高 17 个百分点。作者认为，视角采择基准需要设置仅在报告问题上有所不同的配对基线，以免误读模型未能运用他人视角的表现。

该论文介绍了 MOSAIC，这是一个全模态基准，包含 923 个问题，基于以人物设定为基础、涵盖文本、图像、视频和音频的多会话历史记录，旨在诊断对话智能体在写入、检索、交付和读取各阶段中何处丢失了证据，而非仅仅给出一个排行榜分数。

该论文提出 DiagSafe 诊断式评估框架，用提示级评分标准替代二元安全标签，构建了中英双语、基于 84 类安全分类体系的基准，使大语言模型评判与人工标注的一致性达到 95.34%（科恩 κ 系数为 0.864），并揭示了主流模型在中文与多轮对话场景下的独特漏洞。

该论文提出 RE-ZS-CoT 框架，通过整合领域专家角色来增强大语言模型的零样本链式推理，并在 20 个 LLM 和 7 个基准上评估，最高提升达 44 个百分点。

这篇论文介绍了一种“类型化决策”的系统 1 接口：通过一次前向传播，直接从模型的 logits 或小型分类头输出固定选项的概率，用于替代昂贵的前沿大语言模型评判器。作者部署了一个自托管的秩为 16 的 LoRA 评判器，对 14.8 万条智能体编码会话记录进行分流，成本仅为前沿模型评判器的约 1%；并在 JevBench 上使用 350 亿参数的开源模型达到 79.3%，与商业参考系统（73.0%）无显著差异。

SANE 提出了一种基于智能体的框架，可自动推导出针对特定评分器的扰动方案和预期评分关系，用于测试大语言模型裁判。该框架生成的经验证测试族数量是 Judge Reliability Harness 的 3.7 倍，且其对裁判的排名与人类判断高度一致。

沃尔玛全球技术团队与高校研究人员提出了一种用于迭代式机器学习智能体评测框架的显式反馈契约：仅当验证分数的变化超过基于配对标准误计算的噪声阈值时，才披露验证分数，从而减少对验证集的自适应过拟合，并防止智能体在反复提交过程中追逐噪声。

该论文重新评估了基于LLM的文本属性图节点分类方法，发现其相对简单基线（如Correct & Smooth、MLP）的报告优势往往很小，并记录了测试集调参、标签泄漏等评估风险。

CellTrack-Bench 提出了一个显微细胞追踪基准，涵盖 15 个数据集和 4 种成像模态，对 22 个视觉语言模型与专业追踪器进行对比评估，揭示了前沿模型在推理能力上的显著差距。

作者搭建了一家包含 7 种常见暗黑模式的测试商店，并让 4 个 AI 购物智能体（ChatGPT，以及通过 Buddy 使用的 Claude Opus/Sonnet/Haiku 5.5）在其中完成测试；表现最好的模型避开了欺骗性定价、默认勾选的附加项目和制造紧迫感的套路，获得了 A+ 评分。作者计划开展难度更高的第二轮测试。

本文评估语言模型智能体的上下文压缩方法在'后续问题'上的表现，发现针对当前问题选择的句子在后续问题上并不优于随机删除，而 LLMingua-2 等词级压缩方法在多个基准上表现更佳。

RealControlBench 是一个全新基准，用于评估可解释性引导的大语言模型与智能体细粒度调控能力，涵盖五个控制维度。研究发现，在真实场景中，现有的引导方法并不可靠，且常常会削弱模型能力。

该论文提出两阶段诊断评估方法，检验以图结构表示的LLM推理链的结构可靠性，发现图的可靠性随拓扑、提示设计和模型族而变化，且图结构对不确定性估计的校准和节点级诊断有帮助，但作为提示上下文时收益有限。

论文提出了LoWAgent，这是一个低资源语言多语言基准，涵盖英语、印地语、孟加拉语、乌尔都语和阿姆哈拉语，在六个本地化网站上包含3,000个任务，用于评估网络智能体的表现。研究发现低资源语言下的性能下降明显，尤其是开源模型；同时表明在基准数据的轨迹上进行后训练可以提升智能体的性能。

一项对比基准研究，在四个复杂度级别下使用70个学术提示词对十个大语言模型进行评估，测量其幻觉率与回答偏差。研究发现，回答完整性与事实可靠性之间存在权衡，其中 Perplexity 和 DeepSeek V3 在准确性方面得分最高。

TRACE 是一个训练感知的基准测试框架，将 168 个文本-视觉嵌入任务重新组织为通用（General）、适应性（Adaptability）和挑战性（Challenge）三大类别。研究发现，数据适配能够提升模型的适应性，但在解决具有挑战性的多语言任务和视觉文档任务方面仍然收效甚微。

本文提出了一种面向 AI Agent 的状态绑定运行时保障层，在任务派发时对先前的批准进行重新验证，从而弥合批准被评估与实际执行之间的时间差。在一项包含 42 个案例的回放实验中，该方法识别出 15 个事后失效的批准，并在派发前阻止了其中 14 个受影响的操作。

本文介绍了 ComplianceAgent，它是 COMPASS 多智能体框架中的法律合规子智能体。该智能体利用大语言模型对照法律语料库对文本进行评分，结合纠错重写循环与人工升级机制，并在采用人工标注黄金标准的加拿大与魁北克法律语料库上进行了评估。

Salesforce AI Research 发布 EGI-Bench，这是一套整合了八个企业级 agent 基准测试的统一基准套件，并提出六维度的企业通用智能（Enterprise General Intelligence，EGI）评分，对包括 GPT、Claude、Gemini 在内的十四个前沿及高性价比模型进行评测。