标签
提出了受控记忆干扰（CMI），一个用于研究LLM智能体在不同记忆关系下记忆演化的诊断框架，揭示了特定关系的干扰会抑制更新可塑性，且干扰感知训练能够改进对有效更新的区分。
本文诊断了可验证奖励强化学习（RLVR）中的“pass@k反转”现象：训练提高了单次准确率，但在重复采样下降低了性能，尤其是在正确轨迹稀少的边界提示上。提出了一种基于每个问题的基础锚定（PBA）方法来缓解这一问题。
提出FiT，一个诊断框架，用于在微调前评估小型LLM在网络安全问答方面的能力，表明根据不同的微调模式，微调可能会降低词汇和参数化知识。提供避免不必要微调的指导。
SAAG提出了一种级联诊断框架，用于评估LLM智能体函数调用，通过将评估分解为注册一致性、结构完整性和参数基础验证三个阶段，实现可解释的诊断和迭代自我修复。在sub-4B模型上的实验表明，与单次评估相比，参数精度得到提升，值幻觉减少。
ToolSense 是一个开源诊断框架，能够生成三个基准测试（真实检索、多选题探测、问答探测），用于审计大语言模型的参数化工具知识，揭示了知识-检索分离现象：强大的检索性能可能与较差的事实理解共存。
本文提出了一种以语料库为中心的诊断框架，用于分析生物医学NER和EL基准测试，揭示了九个语料库之间的显著差异，并论证了标准统计量不足以描述评估需求。