论文页面 - FastContext：为编码智能体训练高效仓库探索器

来源：https://huggingface.co/papers/2606.14066

摘要

FastContext 在 LLM 智能体中通过使用专门的探索模型将仓库探索与代码求解分离，从而降低令牌消耗、提升解决率。

大型语言模型 (Large Language Model)（https://huggingface.co/papers?q=Large%20Language%20Model）(LLM) 编码智能体 (coding agents)（https://huggingface.co/papers?q=coding%20agents）已在软件工程任务中取得强劲成果，然而仓库探索 (repository exploration)（https://huggingface.co/papers?q=repository%20exploration）仍是主要瓶颈：定位相关代码会消耗大量令牌预算，并用无关片段污染智能体的上下文。在大多数智能体中，同一模型既负责探索仓库又负责求解任务，将探索性读取和搜索留在求解器的历史记录中。我们提出 FastContext，一种专门的探索子智能体 (exploration subagent)（https://huggingface.co/papers?q=exploration%20subagent），它将仓库探索 (repository exploration)（https://huggingface.co/papers?q=repository%20exploration）与求解分开。FastContext 按需调用，发出并行工具调用 (tool calls)（https://huggingface.co/papers?q=tool%20calls），并返回简洁的文件路径和行范围作为聚焦上下文。FastContext 由专门的探索模型 (specialized exploration models)（https://huggingface.co/papers?q=specialized%20exploration%20models）驱动，参数规模从 4B 到 30B。我们从强参考模型轨迹 (reference-model trajectories)（https://huggingface.co/papers?q=reference-model%20trajectories）中引导出这些模型，并使用面向任务的奖励 (task-grounded rewards)（https://huggingface.co/papers?q=task-grounded%20rewards）对其进行细化，以实现宽泛的首轮搜索 (first-turn search)（https://huggingface.co/papers?q=first-turn%20search）、多轮证据收集 (multi-turn evidence gathering)（https://huggingface.co/papers?q=multi-turn%20evidence%20gathering）和精确引用生成 (precise citation generation)（https://huggingface.co/papers?q=precise%20citation%20generation）。在 SWE-bench Multilingual (SWE-bench Multilingual)（https://huggingface.co/papers?q=SWE-bench%20Multilingual）、SWE-bench Pro (SWE-bench Pro)（https://huggingface.co/papers?q=SWE-bench%20Pro）和 SWE-QA (SWE-QA)（https://huggingface.co/papers?q=SWE-QA）上，将 FastContext 集成到 Mini-SWE-Agent (Mini-SWE-Agent)（https://huggingface.co/papers?q=Mini-SWE-Agent）中，端到端解决率最高可提升 5.5%，同时编码智能体的令牌消耗最多降低 60%，且额外开销极小。这些结果表明，仓库探索 (repository exploration)（https://huggingface.co/papers?q=repository%20exploration）可以与求解分离，并由专门模型有效处理。代码和数据：https://github.com/microsoft/fastcontext

查看 arXiv 页面 (https://arxiv.org/abs/2606.14066) 查看 PDF (https://arxiv.org/pdf/2606.14066) 项目页面 (https://huggingface.co/microsoft/FastContext-1.0-4B-SFT) GitHub (https://github.com/microsoft/fastcontext) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.14066)

在您的智能体中获取此论文：

hf papers read 2606.14066

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.14066 以从此页面链接。

引用此论文的数据集0

无数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.14066 以从此页面链接。

引用此论文的 Space0

无 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.14066 以从此页面链接。

包含此论文的收藏0

无收藏包含此论文

请将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。