对检索到的代理技能是否真正有帮助进行精确度量。

研究指出，那些提升了整体评分的代理技能，可能反而对它们处理的每一个具体任务有害。

传统的检验方法是对比检索到技能的任务与未检索到技能的任务。

但这两类任务本质不同，这种比较混淆了检索机制本身的效果与触发检索的任务特性的效果。

论文提出了一种匹配对比的解决方案。检索触发的实际使用效应 对同一任务运行两次：一次启用技能，一次禁用技能，并且只统计代理实际检索到内容的任务。

在涵盖代码和数学任务的17个大语言模型上，模型经常表现出正的整体检索提升，但对同一任务的实际使用效应却是负的。

在MBPP+基准测试中，几个在整体上看起来有益的模型，在实际触发检索的那些任务上，性能反而下降了。

任何维护技能库的人，都可以立刻用这个方法评估自己的系统。

论文链接：https://arxiv.org/abs/2609.00549

与论文对话：https://academy.dair.ai/papers/skill-following-evaluating-actual-skill-use-in-retrieval-enabled-llm-agents-2609.00549…

技能跟随：评估检索增强LLM代理中的实际技能使用

来源：https://arxiv.org/html/2609.00549

摘要

大型语言模型（LLM）代理越来越多地依赖外部技能，但标准评估方法掩盖了检索这些技能是否真正带来帮助。聚合指标通常对比检索到技能与未检索到技能的任务，这引入了严重的选择偏差，未能分离技能使用的真正效应。为了衡量这种实际使用能力——我们将其形式化为技能跟随——我们引入了检索触发的实际使用效应。RAE仅针对代理主动检索技能的任务，计算启用技能与禁用技能执行之间相同的任务结果差异。我们对17个LLM在编码和数学领域进行了评估，发现了一个显著的评估悖论：模型经常表现出正的聚合检索提升，但实际使用效应为负。在MBPP+上，多个看似整体有益的模型，恰恰在触发检索的任务上损害了自己的性能。这些发现表明，聚合平均数可能制造出工具使用能力强的误导性假象，而RAE则直接衡量了检索到答案的流程真正“拯救”的结果是否多于“损害”的结果。

††脚注对应作者。参见标题图1：MBPP+上的聚合检索提升与实际使用效应。X轴对比技能启用执行中，返回检索结果的任务集与跳过检索的任务集的准确率差异；Y轴则对比在相同的返回检索结果任务上，启用技能与禁用技能的成对结果差异。阴影的非对角象限表示符号不一致；标签(a)-(c)标记了文中讨论的情况。

1 引言

大型语言模型代理正越来越多地被部署在外部程序性环境中，利用工具、记忆和技能库来导航和解决复杂任务。随着这些模型从独立的文本预测器转变为检索增强的交互式代理，评估其效能的范式也必须相应演进。然而，衡量外部技能的真正效用仍然具有根本性的挑战。现有的评估协议通常回答两类宽泛的、系统层面的问题：一是向代理提供技能环境访问权限是否能提高整个基准测试的平均性能；二是检索到技能的任务是否比未检索的任务获得更高的准确率。虽然这些聚合指标提供了系统行为的高层次概要，但它们系统地遗漏了一个关键、更具体的问题：当代理实际选择检索并注入一个技能到其上下文中时，那个特定的外部知识是否真正改善了该特定任务的结果？

我们认为，聚合的基准平均分本质上掩盖了技能检索的真正因果效用，常常制造出能力提升的误导性假象。整个基准的指标通过大幅加权从未检索到技能的任务，稀释了外部工具的影响。更成问题的是，聚合的“检索到 vs 未检索到”比较存在严重的任务选择偏差；它们比较的是两个自我选择的任务子集，这两个子集在固有难度、提示复杂性或技能库相关性上可能存在根本差异。由于自主检索仅仅是工具使用的前奏——要求LLM随后接收、解释、逻辑整合并合成返回的内容以形成有效的最终答案——评估这整个流程需要更严格的方法论。我们将这个多步骤的、从检索到答案的认知过程形式化为技能跟随。为了在不受任务自我选择混杂变量影响的情况下准确评估SF，测量必须明确以检索的实际发生为条件，并采用严格的配对实验设计。

为了清晰地说明这一评估差距的严重性，图1对比了传统的聚合检索提升与我们提出的相同任务指标在MBPP+基准上的表现。X轴代表聚合提升——这是一种标准方法，表明许多现代LLM，如Gemini-2.5-Flash-lite和DeepSeek-V3.2，在检索到技能时获得了显著的性能提升。

然而，当我们隔离出这些模型成功检索到技能的精确任务子集，并将其结果严格与其自身在这些相同任务上的禁用技能基线进行比较时（Y轴），一个截然不同的现实出现了。阴影象限表示符号不一致的关键区域：处于此位置的模型显示出正的聚合提升，但统计上掩盖了负的实际使用效应。这种悖论揭示了，看似系统性的改进，往往只是模型在固有更容易的任务上选择性检索技能的副产品，而这些技能的实际整合经常干扰模型的推理，最终“拯救”的结果少于“损害”的结果。

为了纠正这一方法论盲点并分离LLM的实际使用能力，我们引入了检索触发的实际使用效应。RAE是一个有条件的协议指标，仅计算在技能启用执行中主动触发检索并成功返回技能的任务上的相同任务结果差异。通过强制执行启用技能与禁用技能的配对比较，RAE去除了群体层面的混杂因素，直接衡量检索触发的SF链是作为真正的认知辅助还是干扰性的瓶颈在运作。

总之，本文主要贡献如下：

• 识别代理评估中的“实际使用差距”： 我们将技能整合概念化为完整的技能跟随链，并从数学上证明标准聚合指标由于选择偏差，无法分离检索到技能的真正任务层面影响。
• 引入RAE指标： 我们提出了检索触发的实际使用效应，建立了一个严格的配对评估协议，专门将结果测量条件化于主动检索事件。
• 揭示跨LLM的普遍指标反转： 通过对涵盖代码和数学推理领域的17个不同LLM进行广泛评估，我们揭示聚合结论在RAE下经常反转。至关重要的是，我们全面的诊断分析证明，仅仅在上下文中接触检索到的技能远不足以成功实现技能跟随，挑战了当前关于LLM工具使用能力的假设。

2 相关工作

LLM代理的评估正越来越多地将其视为集成外部工具、记忆和检索机制的复杂系统，而不仅仅是独立的文本预测器。诸如AgentBench、AgentBoard、WebArena、OSWorld、TheAgentCompany和τ-bench等基准测试在交互式或基于环境的设置中衡量端到端的代理行为。虽然这些基准提供了关键的系统层面评估，但它们的主要指标关注整体任务成功或逐步过程诊断。因此，它们未能通过配对比较分离检索到的外部内容注入是否直接改变了该特定任务的最终结果。

专门针对外部技能访问的基准提供了更直接的比较点。如SkillsBench、SWE-Skills-Bench和SkillLearnBench等数据集采用配对设计，对比启用技能的条件与无技能或人类技能的基线。虽然这种配对方法有效控制了任务同一性，但它们报告的效果仍然主要是在整个评估集上聚合的。相比之下，RAE通过严格地将配对比较条件化于主动触发检索并返回内容的任务子集，精确地分离了技能跟随链的实际使用部分。

另一条互补的研究路线调查了代理内的自主检索、记忆和技能复用，包括Voyager、Agent KB、ExpeL、Reflexion和CRITIC等系统。虽然这些框架保留并展示了代理主动使用外部制品的能力，但它们通常没有系统地将每次检索触发的执行与相应的禁用技能基线配对，以衡量净性能变化。此外，诸如BFCL、RAGAS和IFEval等过程级基准诊断了特定的子阶段，如工具调用、检索质量或事实关联。RAE与这些诊断是完全互补的：它并非取代阶段级指标，而是评估检索触发链的端到端影响，严格追问完整流程最终“拯救”的相同任务结果是否多于“损害”的结果。

3 技能跟随

在本节中，我们建立了评估技能跟随任务层面效能所需的配对结果指标的形式框架。将SF概念化为第1节引入的完整检索到答案的认知链，我们通过启用技能与禁用技能执行在相同任务上的严格配对比较来定义这些指标。

表1：聚合检索提升、OAE和RAE的结构分类。OAE和RAE是配对的相同任务度量，而聚合检索提升比较的是技能启用执行内自我选择的任务子集。

3.1 配对执行设计

为了构建受控比较，评估语料库中的每个任务t都经历两个不同的执行路径。启用技能执行授予代理对技能库和检索接口的完全访问权限，而禁用技能基线则限制此访问。令y_t^+, y_t^- ∈ {0,1}分别表示启用技能和禁用技能执行的二元正确性结果。配对结果 (y_t^+, y_t^-) ∈ {0,1}²将每个任务映射到四个不同的转换类别之一（表2）。这种严格的配对设计将评估锚定在固定的任务身份上，本质上消除了跨群体任务难度的混杂效应。

表2：配对启用技能与禁用技能执行的结果矩阵。b表示在禁用技能时失败但在启用技能时成功的任务数，c表示相反情况。

3.2 总体效应与检索触发效应

由于自主检索是一个选择性过程，启用技能执行会在某些任务上成功获取技能，而在其他任务上则不会。因此，我们区分两种不同的配对指标：总体技能访问效应，在整个评估语料库上计算；以及检索触发的实际使用效应，严格限定于主动触发检索并返回技能的任务。

总体技能访问效应

令 S_{\mathrm{all}} 表示完整的评估任务集。公式(1)将OAE定义为整个基准上的宏观配对结果差异： \mathrm{OAE} = \Delta_{\mathrm{all}} = \frac{1}{|S_{\mathrm{all}}|} \sum_{t \in S_{\mathrm{all}}} (y_t^+ - y_t^-) = \frac{\mathrm{all}_b - \mathrm{all}_c}{n_{\mathrm{pairs}}} 其中 n_{\mathrm{pairs}} = |S_{\mathrm{all}}|，而 \mathrm{all}_b 和 \mathrm{all}_c 代表整个数据集上有益翻转和有害翻转的总数。

OAE量化了让代理接触技能环境的系统性影响。它计算所有配对执行的平均结果变化，故意包含了启用技能执行完全绕过检索的任务。虽然OAE准确捕捉了技能访问的全局效用，但它从根本上稀释了实际技能使用的信号。

检索触发的实际使用效应

为了提炼主动技能使用的真实影响，我们将测量严格条件化于启用技能执行触发检索并成功获取至少一个技能的任务子集。令 S_{\mathrm{call}} 为此检索触发子集，其大小为 n_{\mathrm{cond}} = |S_{\mathrm{call}}|。公式(2)将RAE定义为隔离到此关键子集的配对结果差异： \mathrm{RAE} = \Delta_{\mathrm{cond}} = \frac{1}{n_{\mathrm{cond}}} \sum_{t \in S_{\mathrm{call}}} (y_t^+ - y_t^-) = \frac{\mathrm{cond}_b - \mathrm{cond}_c}{n_{\mathrm{cond}}} 其中 \mathrm{cond}_b 和 \mathrm{cond}_c 是仅在检索触发子集上有益翻转和有害翻转的次数。

RAE回答了具体问题：当代理实际检索到外部技能时，该技能的整合是否改善了该任务的结果？ 它直接衡量了技能跟随链的实际效用。