标签
本文揭示了自我改进智能体中技能-策略共进化的脆弱性陷阱，提出部署导向的评估协议CODA来审计技能漂移的影响，发现最差情况下共进化增益会被削弱52-93%。
该论文提出了CIViC——一套四道验证关卡的评估协议，用于检验音频条件化视觉预测器是否真正利用了预期的音频信息。在人脸栅格化、合成音频混合和SpeakerVid代理任务上进行评估后，结果表明不同的对照实验支持不同的解释，结论并不一致。
RAG-Stress 提出一个受控诊断协议，通过编辑检索证据中的单一断言来诱导错误答案，量化模型在检索增强生成中被误导证据覆盖正确答案的比率（misleading rate），并发现严格遵循文档的指令会系统性提高误导率。
本文是 arXiv 论文，提出了一套协议，用于衡量科学解释为实验预测所贡献的预测信用（predictive credit）。研究在 Tox21 和 OpenML 基准上发现，匹配的科学解释并未显著提升预测准确率，但在某些模型复现（model replay）设置下仍观察到了一定的性能增益。
论文提出了 ChartRevise，一个用于程序驱动的精确图表编辑的结构化数据集和无参考评估协议，涵盖 92,438 条记录和 344 种编辑类型；在该数据集上进行微调后，五个模型的需求召回率平均提升 16%，精确编辑率提升 22%。
本文提出一种配对预测协议，用于衡量科学解释对实验预测的额外价值，并在 Tox21 与 OpenML 基准上测试；结论是自然解释的预测信用在测试分辨率下仍未得到确认，而 DeepSeek V4 系列模型的解释卡可降低部分次级漂移。
本文介绍了Inquesto Score，一种针对语音代理的可靠性协议，它通过定义失败事件和严重性级别来衡量交互成功，并提供了行为诊断视图和声学鲁棒性分析。
本文介绍了检查点交接协议，用于归因代理强化学习中的收益，通过分离'到达'（到达有用状态）和'解决'（从那些状态解决），表明RL改进源自这两个组成部分。
本文批判了LLM进化搜索的单点评估，表明最优性能取决于种子和迭代次数的变化，并提出了一种预算网格评估协议。
本文介绍了TeleAntiFraud 2.0，这是一个基于音频的基准，用于评估电信欺诈检测模型，采用混合树生成流水线和每月冻结集，以应对不断演变的欺诈脚本和近域负样本。
本文介绍了 LSREP，一种用于评估对话记忆的纵向状态重放协议，并以 ICE v2 作为案例研究，通过与向量 RAG 对比的重放和审计，揭示了故障模式。
本文介绍了SCEval，一种诊断性评估协议，它通过应用结构损坏来测试全模态大型语言模型的脆弱性，揭示了干净准确性并不确保可靠的跨模态推理。
本文介绍了Hear2Act，一个统一的基准，用于评估韵律线索如何影响任务导向对话的决策。研究发现，当词汇证据不足时，韵律很重要，并且音频LLM通过显式的动作关注表示能获益。
本文提出了一种实用的评估协议，用于在现实复杂目标（而非简化基准）中评估AI渗透测试智能体。它采用基于LLM的语义匹配、二分图解析和持续真值来对发现的漏洞进行评分，并发布了专家标注的真值数据和代码。
本文提出了一个统一的LLM持续学习框架，将变化沿空间（新领域）和时间（数据漂移）两个维度进行解耦。它评估了多种方法，包括提示、监督学习、强化学习和上下文压缩，在现实的顺序设置下。
本文提出了一种针对 Agent 记忆的条件规模评估协议，分析随着无关会话的累积，可靠性如何下降。该研究识别了不同记忆接口和大型语言模型（LLM）下的特定失效区域和可用规模边界。