动态框架搜索:通过预测为每个查询构建多智能体系统

Hugging Face Daily Papers 论文

摘要

论文提出了 SHIFT 框架,它通过一个经过学习的本地 LLM 架构师和价值函数,结合蒙特卡洛树搜索,为每个查询构建多智能体框架,在 9,193 个任务上实现了约 80% 的平均准确率,超越了 17 个基线方法,同时在更经济的模式下将执行 token 成本降低了 32%。

智能体框架(Agent harness)定义了解决任务所使用的角色、指令、工具和通信结构,而合适的框架取决于具体查询。由于每种设计选择的价值只有在执行后才能观察到,为每个查询定制框架要么需要在推理时执行备选方案,要么需要耗费大量人力进行设计。我们提出了 SHIFT,它将执行过程移出每个查询的搜索循环。一个本地 LLM 架构师从搜索中学习构建框架动作的策略,以及一个价值函数——该函数根据已测量的执行结果预测一种在准确率与执行成本之间取得平衡的效用。对于每个查询,蒙特卡洛树搜索利用这些预测来构建框架。在涵盖数学、文档处理和通用助手任务的六个基准共 9,193 个任务上,以 Gemini 3.5 Flash 作为执行器,SHIFT 取得了最高的平均准确率(约 80%),超越了涵盖提示工程、提示优化和工作流搜索的 17 个基线方法,比最强基线高出 7.2 个百分点。SHIFT 的一种更经济模式同样取得了高于所有基线的平均准确率,同时使用的执行 token 比最强基线少 32%。我们进一步表明,联合选择结构、指令和工具,相比仅选择指令或仅选择工具,准确率最高可高出 9.1 个百分点;此外,学习得到的价值选择机制能够从候选集中识别出准确率更高、执行成本更低的框架。
查看原文
查看缓存全文

缓存时间: 2026/10/06 04:52

论文页面 - 动态 Harness 搜索:通过预测为每个查询构建多智能体系统

Source: https://huggingface.co/papers/2610.04137

摘要

Agent harness 规定了用于解决某项任务的角色、指令、工具以及通信结构,而合适的 harness 取决于具体的查询。由于每种设计选择的价值只有在执行之后才能被观测到,针对每个查询定制 harness 往往需要在推理阶段尝试不同方案,或者进行耗时的人工设计。我们提出 SHIFT,将执行环节从针对每个查询的搜索循环中移出。一个本地的 LLM 架构师从搜索过程中学习一套关于 harness 构建动作的策略,以及一个价值函数——该函数根据实测的执行结果预测出一个在准确率与执行成本之间取得平衡的效用。对于每个查询,蒙特卡洛树搜索(Monte Carlo tree search)利用这些预测结果来构建 harness。在涵盖数学、文档以及通用助手等任务类型的六个基准共 9,193 个任务上,以 Gemini 3.5 Flash 作为执行器,SHIFT 取得了最高的平均准确率(约 80%),优于横跨提示工程、提示优化与工作流搜索三类的 17 个基线方法,比其中最强的基线高出 7.2 个百分点。SHIFT 的一种更低成本模式的平均准确率同样超过所有基线,且执行 token 消耗比最强基线少 32%。我们进一步表明,联合选择结构、指令和工具相比只选择指令或只选择工具,最多可提升 9.1 个百分点;而基于学习价值的选择机制,能够在候选池中识别出准确率更高、执行成本更低的 harness。

[查看 arXiv 页面 (https://arxiv.org/abs/2610.04137)] [查看 PDF (https://arxiv.org/pdf/2610.04137)] [添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.04137)]

在你的 agent 中获取这篇论文:

hf papers read 2610.04137

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无关联到本文的模型

在模型 README.md 中引用 arxiv.org/abs/2610.04137,即可从此页面建立链接。

引用本文的数据集 0

暂无关联到本文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2610.04137,即可从此页面建立链接。

引用本文的 Spaces 0

暂无关联到本文的 Space

在 Space README.md 中引用 arxiv.org/abs/2610.04137,即可从此页面建立链接。

包含本文的合集 0

暂无包含本文的合集

将本文添加到合集 (https://huggingface.co/new-collection)即可从此页面建立链接。

相似文章

来自 Meta 的一篇关于智能体框架(agent harness)优化的优秀论文。Meta-Harness 式的搜索方法只使用一个开发集和一个提议……

X AI KOLs Timeline

# Meta(联合 Duke 与 UC Davis)提出用于智能体 harness 优化的「自改进分支混合」框架 Meta 联合杜克大学(Duke)与加州大学戴维斯分校(UC Davis)提出了一种 **Mixture of Self-Improving Branches(自改进分支混合)** 框架,用于优化智能体 harness(运行框架)。该方法将原本单轨迹的 **Meta-Harness** 搜索拆分为多个**自适应分支**:每个分支拥有不断演进的开发子集(development subsets)和提案策略(proposal policies),并引入一个**路由器(router)**,针对每个输入动态选择表现最佳的分支。 该框架在多个基准上取得了显著提升: - **Olympiad 级别数学任务**:相对提升最高可达 **+34.8%** - **Terminal-Bench 2.0**:提升 **+11.6%** - **SWE-bench Lite**:提升 **+3.8%**

Harness-G:面向搜索代理的图结构检索框架

Hugging Face Daily Papers

本文介绍了Harness-G,一种图结构检索框架,它将自由形式的查询生成重构为有限动作选择,以减少基于强化学习的搜索代理中的检索别名化问题。在六个问答基准测试中,Harness-G在1.5B规模下比最强基线Graph-R1高出10.74个百分点,在3B规模下高出3.98个百分点。

HarnessX:可组合、自适应且可演进的智能体夹具工坊

Hugging Face Daily Papers

HarnessX 是一个为可组合、自适应且可演进的人工智能智能体夹具打造的工坊,它利用组合原语和轨迹驱动演化来提升智能体性能。在五项基准测试中,它平均提升了 +14.5%(最高达 +44.0%),表明运行时接口演化是模型规模扩展之外的一个互补杠杆。