面向智能体持续学习的循环Harness框架

Hugging Face Daily Papers 论文

摘要

论文提出ReHarness,一种面向智能体持续学习的循环harness框架,在严格在线流式协议下通过backward revision补充前向信息流,从而在分布偏移下改进语言模型智能体的记忆与反思更新。

语言模型智能体 increasingly 地在长时间交互流上运行,需要通过持续学习在线适应分布偏移。然而,现有的智能体 harness 通常仅通过前向信息流来演化其状态,或依赖额外的回放/验证数据来优化 harness。为此,我们提出 ReHarness——一种面向智能体持续学习的循环 harness 框架,它在严格在线流式协议下,用 backward revision 补充前向的读写操作。我们探究的是:在 harness 状态中,哪些信息本可以被不同地捕捉,从而更好地为流中的当前实例提供依据。具体而言,在每个实例之后,我们利用其产生的轨迹作为反馈,修订该实例所检索到的反思,从而将反馈通过文本化的 harness 状态向后传播。在三个持续学习基准和三种语言模型 backbone 上,ReHarness 始终优于强 raw-context 基线、基于记忆与反思的方法以及 prompt 优化方法。进一步分析表明,ReHarness 能产生基于来源且有意义的修订,在分布偏移下纠正过度泛化或过时的经验,并在持续学习中同时提升稳定性和可塑性。
查看原文
查看缓存全文

缓存时间: 2026/10/12 06:54

论文页面 - Recurrent Harness for Agentic Continual Learning

来源:https://huggingface.co/papers/2610.12668

摘要

大语言模型智能体越来越多地在长时间的交互流中运行,需要通过持续学习来在线适应分布偏移。然而,现有的智能体框架通常要么仅通过前向信息流来演进状态,要么依赖额外的回放或验证数据来优化框架。为了解决这一问题,我们提出了 ReHarness,一个面向智能体持续学习的循环框架(recurrent harness),它在严格在线流式协议下,通过反向修正来补充前向读写操作。我们提出的问题是:在框架状态中,哪些信息可以被以不同的方式捕获,从而更好地为流中的当前实例提供指导。具体而言,在每个实例之后,我们利用产生的执行轨迹作为反馈,来修正该实例所检索到的反思内容,从而通过文本框架状态将反馈进行反向传播。在三个持续学习基准和三种大语言模型骨干网络上,ReHarness 持续优于强大的原始上下文基线、基于记忆和反思的方法,以及提示词优化方法。进一步的分析表明,ReHarness 能够产生基于来源且有意义的修正,在分布偏移下纠正过度泛化或过时的经验,并在持续学习过程中同时提升稳定性和可塑性。

查看 arXiv 页面 (https://arxiv.org/abs/2610.12668) 查看 PDF (https://arxiv.org/pdf/2610.12668) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.12668)

在你的智能体中获取此论文:

hf papers read 2610.12668

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.12668,即可从此页面链接该论文。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.12668,即可从此页面链接该论文。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.12668,即可从此页面链接该论文。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection),即可从此页面链接该论文。

相似文章

面向智能体持续学习的循环式框架

arXiv cs.LG

提出 ReHarness 框架,通过在严格在线流式协议下结合前向读写与后向修订(利用轨迹反馈修订检索到的反思),实现 LLM 智能体的持续学习,在三个基准和三种模型骨干上均优于基线方法。

自我进化代理脚手架框架

Hugging Face Daily Papers

提出一个自我进化代理框架(Harness RSI),在保持模型权重固定的情况下,通过反馈驱动的修订与进化优化,持续改进代理的软件脚手架(提示、记忆、工作流和可执行组件),并借助持续 PAC 学习为泛化与保留能力提供理论保证。

持续增强框架:面向自我改进基础智能体的在线适应

Hugging Face Daily Papers

本文介绍了“持续增强框架”(Continual Harness),该框架使具身人工智能智能体能够在无需重置环境的情况下实现在线自我改进。研究展示了在《宝可梦》游戏中的显著进展,通过自动化提示词和技能优化,智能体达到了人类水平的表现。

用于递归自我改进的 Google Harness²(GitHub 仓库)

TLDR AI

Google Research 开源了 Harness²,这是一个实现递归式智能体框架优化的即插即用框架。它可在模型权重固定的情况下,通过“提出–探测–组合”循环持续改进智能体运行框架,在多个专业基准测试中带来最高 11.8 个百分点的性能提升。