@rohanpaul_ai: 具备技能调用的智能体虽然整体表现较好，但在调用技能完成的具体任务上却表现较差，这……
摘要
本文指出了当前评估方法存在的缺陷——这些方法会掩盖智能体在调用技能完成任务时的糟糕表现，并提出了RAE作为实现更准确对比的解决方案。
查看缓存全文
缓存时间: 2026/09/08 15:32
具备技能调用的智能体在整体表现上可能看起来更好，但在实际使用这些技能完成特定任务时，性能却会更差。
本文揭示了一个严重的评估缺陷：正面的技能调用收益可能会掩盖其在实际应用这些技能时的负面表现。
大多数评估方法都存在逻辑错误——它们仅比较智能体选择调用技能的任务与未调用技能的任务的完成效果，而这些任务本身可能属于完全不同的类别。如果智能体倾向于在难度较低的问题上调用技能，那么即便该技能实际上毫无作用，甚至还会降低答案质量，其表现仍会显得很有帮助。
本文提出的解决方案 RAE 非常简单：当智能体调用技能后，再次独立运行同一任务且不使用该技能，然后对比两次的结果。
相似文章
@dair_ai: 关于检索到的智能体技能是否真正有帮助的良好测量工作。他们报告说，提升聚合得分的智能体技能可能会伤害……
论文引入了检索调用实际使用效果（RAE）来评估检索到的技能是否真正帮助LLM智能体，显示聚合指标可能会通过隐藏对特定任务的负面影响而产生误导。
@rohanpaul_ai: 代理技能之所以有效，有一个非常具体的原因：它们将杂乱的过去经验转化为代理可以遵循的干净流程……
该论文解释说，代理技能通过将过去经验转化为干净的流程来提高性能，其中技能版本比Workflow Memory高出6.06个百分点，主要通过程序锚定。
@dair_ai: 终于，有一篇好论文测试了 Agent Skills 是否真的有帮助。如果你正在维护技能库，值得一读 …
一项基准研究表明，在 Web 开发任务中注入 Agent Skills 通常会降低性能并增加令牌成本，存在长度分散和内容误导等失败模式，凸显了按部署评估的必要性。
@rohanpaul_ai: 智能体可以积累数百种技能，但性能并未相应提升，这使得技能整合与复用成为一个比简单生成更多技能更大的问题。
一篇名为'ContinualSkillBench'的研究论文发现，LLM智能体从延续上下文和反馈中获益更多，而不是维护显式技能库，其中顺序执行显示出16.9%的相对增益，但上下文学习往往优于技能维护。
Skill-RM: 通过智能体技能统一异构评估标准
Skill-RM 提出了一种统一的奖励建模框架，将奖励计算视为结构化的智能体任务，实现了动态证据聚合和跨多种应用的一致评估，优于传统的评判基线。