动态框架搜索:通过预测为每个查询构建多智能体系统
摘要
论文提出了 SHIFT 框架,它通过一个经过学习的本地 LLM 架构师和价值函数,结合蒙特卡洛树搜索,为每个查询构建多智能体框架,在 9,193 个任务上实现了约 80% 的平均准确率,超越了 17 个基线方法,同时在更经济的模式下将执行 token 成本降低了 32%。
查看缓存全文
缓存时间: 2026/10/06 04:52
论文页面 - 动态 Harness 搜索:通过预测为每个查询构建多智能体系统
Source: https://huggingface.co/papers/2610.04137
摘要
Agent harness 规定了用于解决某项任务的角色、指令、工具以及通信结构,而合适的 harness 取决于具体的查询。由于每种设计选择的价值只有在执行之后才能被观测到,针对每个查询定制 harness 往往需要在推理阶段尝试不同方案,或者进行耗时的人工设计。我们提出 SHIFT,将执行环节从针对每个查询的搜索循环中移出。一个本地的 LLM 架构师从搜索过程中学习一套关于 harness 构建动作的策略,以及一个价值函数——该函数根据实测的执行结果预测出一个在准确率与执行成本之间取得平衡的效用。对于每个查询,蒙特卡洛树搜索(Monte Carlo tree search)利用这些预测结果来构建 harness。在涵盖数学、文档以及通用助手等任务类型的六个基准共 9,193 个任务上,以 Gemini 3.5 Flash 作为执行器,SHIFT 取得了最高的平均准确率(约 80%),优于横跨提示工程、提示优化与工作流搜索三类的 17 个基线方法,比其中最强的基线高出 7.2 个百分点。SHIFT 的一种更低成本模式的平均准确率同样超过所有基线,且执行 token 消耗比最强基线少 32%。我们进一步表明,联合选择结构、指令和工具相比只选择指令或只选择工具,最多可提升 9.1 个百分点;而基于学习价值的选择机制,能够在候选池中识别出准确率更高、执行成本更低的 harness。
[查看 arXiv 页面 (https://arxiv.org/abs/2610.04137)] [查看 PDF (https://arxiv.org/pdf/2610.04137)] [添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.04137)]
在你的 agent 中获取这篇论文:
hf papers read 2610.04137
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 0
暂无关联到本文的模型
在模型 README.md 中引用 arxiv.org/abs/2610.04137,即可从此页面建立链接。
引用本文的数据集 0
暂无关联到本文的数据集
在数据集 README.md 中引用 arxiv.org/abs/2610.04137,即可从此页面建立链接。
引用本文的 Spaces 0
暂无关联到本文的 Space
在 Space README.md 中引用 arxiv.org/abs/2610.04137,即可从此页面建立链接。
包含本文的合集 0
暂无包含本文的合集
将本文添加到合集 (https://huggingface.co/new-collection)即可从此页面建立链接。
相似文章
来自 Meta 的一篇关于智能体框架(agent harness)优化的优秀论文。Meta-Harness 式的搜索方法只使用一个开发集和一个提议……
# Meta(联合 Duke 与 UC Davis)提出用于智能体 harness 优化的「自改进分支混合」框架 Meta 联合杜克大学(Duke)与加州大学戴维斯分校(UC Davis)提出了一种 **Mixture of Self-Improving Branches(自改进分支混合)** 框架,用于优化智能体 harness(运行框架)。该方法将原本单轨迹的 **Meta-Harness** 搜索拆分为多个**自适应分支**:每个分支拥有不断演进的开发子集(development subsets)和提案策略(proposal policies),并引入一个**路由器(router)**,针对每个输入动态选择表现最佳的分支。 该框架在多个基准上取得了显著提升: - **Olympiad 级别数学任务**:相对提升最高可达 **+34.8%** - **Terminal-Bench 2.0**:提升 **+11.6%** - **SWE-bench Lite**:提升 **+3.8%**
HarnessForge: 联合执行框架与策略演化用于自适应智能体系统
HarnessForge 提出一种用于演化LLM智能体系统的元自适应框架,通过联合优化执行框架与推理策略,在五个基准测试上对Qwen3骨干模型实现持续改进。
Harness-G:面向搜索代理的图结构检索框架
本文介绍了Harness-G,一种图结构检索框架,它将自由形式的查询生成重构为有限动作选择,以减少基于强化学习的搜索代理中的检索别名化问题。在六个问答基准测试中,Harness-G在1.5B规模下比最强基线Graph-R1高出10.74个百分点,在3B规模下高出3.98个百分点。
Harness-1:采用状态外化约束的搜索代理强化学习
介绍了 Harness-1,一个使用状态外化约束训练的 200 亿参数开源搜索代理,实现了强大的检索性能,并在多个基准测试上超越了更大的前沿模型。
HarnessX:可组合、自适应且可演进的智能体夹具工坊
HarnessX 是一个为可组合、自适应且可演进的人工智能智能体夹具打造的工坊,它利用组合原语和轨迹驱动演化来提升智能体性能。在五项基准测试中,它平均提升了 +14.5%(最高达 +44.0%),表明运行时接口演化是模型规模扩展之外的一个互补杠杆。