为匹配能力而演进:通过技能适配改进运行框架的自我演进
摘要
论文提出通过技能适配(skill adaptation)改进 LLM 代理的 harness 自进化:用一个固定的 meta-skill 指导将现有技能改写为符合执行器能力的形式,使弱模型在无需参数更新的情况下获得显著提升,在七个模型和三个基准上验证了有效性。
查看缓存全文
缓存时间: 2026/10/28 01:55
论文页面 - 演进以匹配能力:通过技能适配改进执行框架的自我演进
来源:https://huggingface.co/papers/2610.33024
摘要
执行框架的自我演进通过技能适配来改进 LLM 智能体,由元技能指导重新表述指引,使其匹配执行模型的能力,从而无需更新参数即可提升较弱模型的表现\。
执行框架的自我演进 (https://huggingface.co/papers?q=Harness%20self-evolution)为 LLM 智能体 (https://huggingface.co/papers?q=LLM%20agents)提供了一条实用途径,使其无需更新模型参数即可从执行经验中改进\。其有效性取决于模型能否成功遵循执行框架提供的指引采取行动\。然而,我们发现,执行框架带来的收益并不在不同能力的模型间保持一致:能够改进较强模型的技能,可能对较弱模型几乎没有帮助,甚至降低其性能\。在七个模型和三个基准测试中,我们识别出 103 个任务-技能对,其中技能使 GPT-5.6-luna 的得分提高了 31.1 分,却使 Gemma-4-E4B 的得分下降了 8.8 分\。在较弱模型的失败运行中,有 86% 违反的要求已经在技能中明确说明\。这促使我们提出技能适配 (https://huggingface.co/papers?q=skill%20adaptation):重新表述现有技能,使其匹配执行模型的能力,并使其指引更易于执行\。为此,我们诊断了工具执行 (https://huggingface.co/papers?q=tool%20execution)、上下文管理 (https://huggingface.co/papers?q=context%20management)、指令遵循 (https://huggingface.co/papers?q=instruction%20following)和验证 (https://huggingface.co/papers?q=verification)方面的失败,并将这些诊断提炼为一个固定的元技能 (https://huggingface.co/papers?q=meta-skill),用于在执行框架自我演进 (https://huggingface.co/papers?q=harness%20self-evolution)过程中指导适配\。在元技能 (https://huggingface.co/papers?q=meta-skill)的指导下,一个能力较强的外部重写模型 Kimi-K3 在没有执行证据的情况下对技能进行适配,使三个较弱执行模型的得分比使用原始技能时提高了 5.1-14.1 分\。随后,我们将这种适配纳入一个五轮的自我演进循环 (https://huggingface.co/papers?q=self-evolution%20loop),其中每个模型根据执行轨迹和验证器反馈修订自身的技能\。在从 Gemma-4-E4B 到 Kimi-K2.5 的七个执行模型中,与不使用元技能 (https://huggingface.co/papers?q=meta-skill)的相同循环相比,元技能 (https://huggingface.co/papers?q=meta-skill)始终使最终得分提高了 2.0-5.1 分\。我们的研究结果为开发更有效的执行框架自我演进 (https://huggingface.co/papers?q=harness%20self-evolution)方法提供了实用的设计指导\。
查看 arXiv 页面 (https://arxiv.org/abs/2610.33024)查看 PDF (https://arxiv.org/pdf/2610.33024)项目页面 (https://zhihaoyang30.github.io/skill-adaptation/)GitHub2 (https://github.com/zhihaoyang30/skill-adaptation-code)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.33024)
在你的智能体中获取这篇论文:
hf papers read 2610\.33024
没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用这篇论文的模型0
没有链接到这篇论文的模型
在模型的 README.md 中引用 arxiv.org/abs/2610.33024,即可从本页面链接到该模型\。
引用这篇论文的数据集0
没有链接到这篇论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2610.33024,即可从本页面链接到该数据集\。
引用这篇论文的 Space0
没有链接到这篇论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2610.33024,即可从本页面链接到该 Space\。
包含这篇论文的收藏集0
没有包含这篇论文的收藏集
将这篇论文添加到收藏集 (https://huggingface.co/new-collection),即可从本页面链接到该收藏集\。
相似文章
随能力演进:通过技能适配改进框架的自我演化
该论文提出技能适配(skill adaptation)方法,通过元技能引导外部改写器将现有技能重写以匹配执行模型的能力,从而提升弱模型在 harness 自演化中的表现,并在七个模型上验证了改进效果。
技能并非通用:面向LLM智能体的模型感知技能对齐
本文提出MASA框架,该框架在不修改模型权重的情况下,通过分层进化和模型条件重写器将技能适配到每个LLM骨干网络,相比基线方法最高提升25.8个点。
工具更新并非工具收益:自进化LLM智能体中进化能力的解耦
本文分析了自进化LLM智能体中的两种能力:工具更新能力和工具收益能力。研究发现工具更新能力在不同基础能力层级间持平,而工具收益能力则呈现非单调性,其中中等层级模型收益最大。
通过跨框架适配实现检索增强的技能优化
该论文提出 RASO(检索增强技能优化)框架,通过 Cross-Harness Adaptation 从外部技能语料库中检索先验知识来初始化和迭代优化 agent 技能,在四个 agent 基准和两个模型上显著优于无检索增强的基线方法。
Self-Harness: 自我改进的Harness
Self-Harness 提出了一种新范式,其中基于LLM的智能体通过挖掘模型特定的弱点、提出框架修改,并通过回归测试验证这些修改,从而迭代地改进自身的运行框架,在Terminal-Bench-2.0上跨多个基础模型取得了显著的性能提升。