HarnessBridge: LLM智能体的可学习双向控制器

Hugging Face Daily Papers 论文

摘要

介绍了HarnessBridge,一种可学习的双向控制器,它将智能体-环境接口参数化,用于LLM智能体。在Terminal-Bench和SWE-bench上,它以更少的计算开销达到了与专用框架相当的性能。

大语言模型越来越多地被部署为智能体来执行长期任务,然而其性能不仅取决于模型能力和环境设计,还受到调节智能体与环境中介的框架(harness)的影响。现有的框架大多手工设计,难以随着轨迹增长和交互复杂化而扩展。在本文中,我们探讨是否可以通过一个可学习的插件模块来生成框架,该模块可以以端到端方式训练。我们引入了HarnessBridge,一个轻量级可学习框架控制器,它将智能体-环境接口参数化为双向投影。HarnessBridge学习两种双向投影:观察投影,将原始轨迹提炼为紧凑、与决策相关的状态;动作投影,将提议的动作转换为可执行的转换或基于轨迹的拒绝。我们在一个框架监督数据集上通过统一指令微调训练HarnessBridge。在Terminal-Bench~2.0和SWE-bench Verified上,HarnessBridge匹配或超越了强大的专用框架,同时大幅减少了令牌使用量和轨迹长度,并且能够从较小的生成器泛化到较大的商业模型。
查看原文
查看缓存全文

缓存时间: 2026/06/12 02:52

论文页面 - HarnessBridge:用于LLM Agent的可学习双向控制器

来源: https://huggingface.co/papers/2606.12882

摘要

本文提出了一种名为 HarnessBridge 的可学习控制器(harness controller),通过双向投影对智能体-环境接口进行参数化,在降低计算开销的同时,实现了与专用控制器(specialized harnesses)相当的性能。

大型语言模型(https://huggingface.co/papers?q=Large%20language%20models)正越来越多地被部署为面向长时程任务的智能体。然而,其性能不仅受模型能力与环境设计的影响,还取决于协调智能体与环境交互的控制器(harness)。现有的控制器大多为人工设计,随着轨迹变长、交互变复杂,其扩展性变得困难。在这项工作中,我们探究能否通过一个可学习的即插即用模块来生成控制器,并以端到端方式进行训练。我们引入了 HarnessBridge,一个轻量级可学习控制器(https://huggingface.co/papers?q=learnable%20harness%20controller),它将智能体-环境接口参数化为双向投影(https://huggingface.co/papers?q=bidirectional%20projection)。HarnessBridge 学习两个双向投影(https://huggingface.co/papers?q=bidirectional%20projection):观测投影(https://huggingface.co/papers?q=observation%20projection),将原始轨迹压缩为紧凑、与决策相关的状态;以及动作投影(https://huggingface.co/papers?q=action%20projection),将提议的动作转换为可执行的转移或基于轨迹的拒绝。我们在一个控制器监督数据集上通过统一指令微调(https://huggingface.co/papers?q=instruction%20tuning)对 HarnessBridge 进行训练。在 Terminal-Bench(https://huggingface.co/papers?q=Terminal-Bench)2.0 和 SWE-bench(https://huggingface.co/papers?q=SWE-bench)Verified 上,HarnessBridge 匹配甚至超越了强专用控制器,同时显著减少了 token 使用量和轨迹长度,并且能够从较小生成器泛化到更大的商业模型。

查看 arXiv 页面(https://arxiv.org/abs/2606.12882)查看 PDF(https://arxiv.org/pdf/2606.12882)GitHub1(https://github.com/mandyyyyii/HarnessBridge)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2606.12882)

引用该论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.12882,以便在此页面建立链接。

引用该论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.12882,以便在此页面建立链接。

引用该论文的 Spaces0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.12882,以便在此页面建立链接。

包含该论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏夹(https://huggingface.co/new-collection)以在此页面建立链接。

相似文章

使用离线强化学习控制LLM Agent执行框架

arXiv cs.LG

本文通过一个使用离线强化学习训练的Harness MDP,将LLM Agent周围的执行框架形式化为一个可学习的控制层,展示了在多个领域中的验证行为和最终质量的改进。

Harness Handbook:使不断演化的智能体Harness可读、可导航、可编辑

arXiv cs.AI

Harness Handbook是一种以行为为中心的表示,通过静态程序分析和LLM辅助从智能体harness代码库中合成,帮助开发者和编码智能体定位实现特定行为的代码。它引入了行为引导的渐进式披露(BGPD),引导智能体从高层描述到相关实现细节,提高了定位准确性和编辑计划质量。

Self-Harness: 自我改进的Harness

Hacker News Top

Self-Harness 提出了一种新范式,其中基于LLM的智能体通过挖掘模型特定的弱点、提出框架修改,并通过回归测试验证这些修改,从而迭代地改进自身的运行框架,在Terminal-Bench-2.0上跨多个基础模型取得了显著的性能提升。