论文页面 - 内在路由器：从冻结LLM中引出原生技能路由

来源: https://huggingface.co/papers/2609.15982

摘要

Gavel通过轻量级线性投影从冻结大语言模型的隐藏状态中提取技能路由信号，从而选择工具，无需外部检索或过量上下文输入。

技能扩展了LLM代理(https://huggingface.co/papers?q=LLM%20agent)的参数化知识边界，而其收益的关键在于正确选择。现有部署框架通过将所有技能元数据预加载到上下文中进行路由，这会分散代理的注意力并限制技能库规模。检索管道将选择过程移出上下文，但也脱离了代理自身能力。我们证明冻结的代理LLM在其自身的前向传播(https://huggingface.co/papers?q=forward%20passes)中已携带路由信号，且仅需两个线性映射(https://huggingface.co/papers?q=linear%20maps)即可在上下文无技能文本的情况下提取该信号。Gavel（基于冻结LLM的快照与裁决）通过两步实现：快照阶段将任务与各技能的中间层状态通过两个映射（唯一训练参数）投影，对照每个前向传播构建的紧凑技能库对完整技能库评分；裁决阶段恢复入围技能的前向传播(https://huggingface.co/papers?q=forward%20passes)，读取模型自身的似然度和是/否判断，与快照结果通过专家乘积(https://huggingface.co/papers?q=product%20of%20experts)融合。Gavel经过一次训练即可零样本迁移至三个公开基准测试和SkillTraj(https://huggingface.co/papers?q=SkillTraj)——我们提出的包含372条模拟代理轨迹的新基准。在Qwen3-32B模型上，其在书面任务中比增加12亿至160亿外部参数的渐进式披露和检索重排管道最多高出13.4个点，当技能需求在交互中段出现时最多高出21.9个点。路由准确率随基座模型提升而提高，在bash代理框架中，同样的32B模型在技能使用测试中触发正确技能的频率高于在Codex中运行的更大型前沿模型。

查看arXiv页面 (https://arxiv.org/abs/2609.15982)查看PDF (https://arxiv.org/pdf/2609.15982)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.15982)

在您的代理中获取论文：

hf papers read 2609\.15982

尚未安装最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

无模型链接本文

在模型README.md中引用arxiv.org/abs/2609.15982可从本页链接该模型。

引用本文的数据集0

无数据集链接本文

在数据集README.md中引用arxiv.org/abs/2609.15982可从本页链接该数据集。

引用本文的空间0

无空间链接本文

在空间README.md中引用arxiv.org/abs/2609.15982可从本页链接该空间。

包含本文的收藏夹0

无收藏夹包含本文

将本文添加到收藏夹 (https://huggingface.co/new-collection)可从本页链接该收藏夹。