SchemaRouter：面向高效异构智能体RAG的字段感知工具路由

# 面向高效异构智能体RAG的场感知工具路由  
来源：https://arxiv.org/html/2608.21375  

###### 摘要  
异构智能体检索增强生成（RAG）系统越来越多地协调跨商业、媒体、企业和科学等领域的多种外部API、内部数据库、向量存储和图存储。将所有工具描述暴露给LLM智能体，或通过向量相似性检索工具，会导致两种具有实际成本的失效模式：**过度获取**（选择不需要的工具/字段会增加检索负载、token消耗和延迟）和**获取不足**（缺少必要字段导致无法回答的检索结果）。  

我们提出**SchemaRouter**，一个轻量级路由层，将工具、端点、参数、响应字段、领域概念、单位、来源和许可建模为**模式图**，并生成可执行的工具计划，精确指定需要获取哪些工具和响应字段。一个小的LLM步骤提取意图、领域概念和来源约束；然后基于图进行**确定性**字段选择（意图分组投影 ∪ 概念-字段匹配，通过领域概念别名层桥接），保证计划的有效性、最小化、带来源注释。  

在材料科学基准测试（\(N=110\)）中，我们不仅评估规划准确性，还评估下游RAG效果：检索上下文token数、端到端延迟、最终答案准确性以及**答案可信度**（来源/许可归属）。SchemaRouter的答案准确性达到0.71——在置信区间内与获取所有工具相当，并高于提示所有工具的0.66（置信区间重叠）——同时检索上下文接近最小（227个token，而获取所有工具为2066个），端到端延迟比提示所有工具低约2.7倍（其路由提示独立于模式），工具精确匹配率最高（0.93），参数有效性为1.0。  

它还在62%的答案中落实了基于模式的来源和许可——包括读者LLM无法从参数知识中生成的每个数据库的许可字符串——而所有基线方法约为0%。  

我们进一步报告了一个方法学发现：优化规划级别的**过度获取**适得其反。最小化选择的字段数量将下游准确性降至0.56，而token节省微乎其微；保持召回的投影恢复了最高准确性。检索上下文token数和下游准确性——而非字段数量的精简性——才是重要的目标。  

我们将SchemaRouter的贡献概括为**效率、模式无关的扩展性，以及在竞争性准确性下的可验证来源/许可依据答案**。  

## 1 引言  
现代用于科学的智能体RAG系统需要跨多种异构数据源路由查询——材料属性数据库、化学数据库、文献API、内部实验存储。随着工具库增长，智能体必须决定不仅调用**哪个工具**，还有**哪个端点**、**哪个参数**以及它实际需要**哪个响应字段**。  

两种常见策略扩展性差：将所有工具/字段描述放在提示中（**提示所有工具**）在强LLM下准确，但将整个模式注入每次路由调用，增加成本和延迟，最终超出上下文限制。通过嵌入相似性检索工具（**仅向量**）无法可靠地生成具有有效参数和字段的**可执行**计划。  

本工作的动机并非孤立的准确性，而是**不精确检索的下游成本**。随意获取工具和字段，或获取所有内容，会（i）减慢检索速度，（ii）返回不必要的数据，（iii）扩大读者LLM必须处理的上下文，以及（iv）可能用无关信息稀释答案。一个仅获取所需内容的中间层应能节省token、搜索和时间，同时保持答案质量。  

我们提出**SchemaRouter**，一个模式图路由层，生成最小化、可执行、带来源注释的工具计划。该方法**通过构造与领域无关**：它仅假设一个工具生态系统，其端点暴露带有可附加元数据（单位、来源、许可）的类型化参数和响应字段——这种结构模式在商业、媒体、企业和科学API中同样存在。  

在本文中，我们在材料科学工具集上实例化并评估它，其中来源和许可是一等关注点；实证跨领域评估留待未来工作。但我们注意到，许可/归属元数据——我们最强的答案层面结果——是一个跨领域问题（媒体权利、数据使用条款），表明该机制对科学工具之外也有用。  

我们的贡献：  
1. 工具路由的**场感知**公式化：在响应字段粒度进行选择，而不仅仅是工具粒度，并引入领域概念别名层桥接自然语言查询与规范模式字段名之间的词汇鸿沟。  
2. **以下游为中心**的评估：超越规划指标，我们在受控固定协议下测量检索上下文token数、端到端延迟和最终答案准确性。  
3. 诚实的刻画与方法学发现：保持召回的SchemaRouter在答案准确性上达到顶尖组别，同时检索上下文成本接近最小，并落实了读者LLM无法从参数知识中恢复的可验证来源和许可。过度获取（获取所有工具）在强读者下浪费成本而不提高准确性。相反，最小化规划级别的过度获取适得其反：它为了一个几乎不影响token成本的字段计数指标而牺牲了下游准确性。  

## 2 相关工作  
**工具使用LLM**。Toolformer\[10\]、Gorilla/APIBench\[7\]、API-Bank\[4\]和ToolLLM\[9\]研究LLM何时以及如何调用API，并评估调用正确性和幻觉。我们的不同之处在于明确评估工具选择后的**端点、参数和响应字段**选择，并测量该选择的下游RAG后果。  

**GraphRAG和基于图的工具检索**。GraphRAG\[1\]在语料库上构建知识图谱用于查询时增强；Graph RAG-Tool Fusion\[5\]和Agent-as-a-Graph\[6\]将工具依赖关系建模为图用于检索。SchemaRouter将**工具/API模式本身**（字段、单位、来源、许可）图化，以生成可执行的最小化计划，而不是检索知识或按相关性排序工具。  

在我们基准工具库来源的生产RAG系统中，模式图维护在一个嵌入式属性图存储中\[2\]。  
1 生产RAG智能体是一个专有内部系统，未随本文发布。为使评估框架自包含且可重现，我们序列化了图的冻结JSON导出并直接读取它——因此发布的框架在运行时不依赖于Kuzu。SchemaRouter使用的所有模式信号（节点、边、别名、来源、许可）都保留在导出中；见附录A了解每个信号的独立贡献。  
发布的评估框架读取该图的冻结JSON导出，以便所有路由器在相同、版本化的模式上操作，无需运行时图数据库依赖。  

**模式链接和结构化工具调用**。字段选择是文本到SQL中**模式链接**的姊妹问题，其中模型将自然语言提及与目标模式的列对齐。早期工作通过关系感知注意力将链接与解析器耦合\[12\]；更新的系统使用元素级排序器\[3\]或分解提示管道\[8\]将链接与下游生成解耦。SchemaRouter将这一思想从单一数据库查询编译器转移到多工具RAG路由器：它将目标从单一模式的列泛化为多个异构API的字段，在提取概念后使用确定性（非LLM）选择器，并添加了SQL场景中缺失的元数据层（单位、来源、许可）。  

在工具规划方面，模型端函数调用和任务分解框架\[11\]允许LLM端到端发出结构化工具调用。这些与模式路由器是互补而非竞争关系：SchemaRouter是决定**哪些**工具和**哪些**字段调用者（LLM或其他）应针对的层，可以作为函数调用智能体的检索前端，然后执行该计划。  

**科学RAG / 材料信息学**。我们的基准针对材料科学API，其中单位、来源（计算的与实验的与文献的）和许可约束是一等公民。  

## 3 问题定义  
给定自然语言查询 \(q\) 和工具库 \(\mathcal{T}\)，每个工具 \(t\) 暴露一个端点、参数 \(P_t\) 和响应字段 \(F_t\)（带有每个字段的单位、来源和许可元数据），路由器必须输出一个**工具计划**：一组 \((t, \text{params}, \text{fields} \subseteq F_t)\) 元组。  

我们直接评估计划（规划级别），然后评估其下游效应：计划诱导一次检索，其结果传递给读者LLM以回答查询 \(q\)。设 \(G(q)\) 为标准计划；我们测量工具/字段的精确率-召回率-F1 \(F_1\)、参数有效性、可执行计划率、过度获取比率和元数据完整性，以及下游答案准确性、检索上下文token数和延迟。  

## 4 方法：SchemaRouter  
**模式图**。节点：工具、端点、参数、响应字段、领域概念、单位、来源类型、许可策略、字段组、意图。边将端点连接到其参数和字段，将字段连接到单位/来源类型/概念，并将概念连接到规范字段（MAPS_TO_CONCEPT/ALIASED_AS）。该图从目标系统的API注册表中导出一次并冻结以保证可重现性。  

**路由**。(1) 一个小的LLM步骤提取 \{意图、领域概念、参数值、来源约束、显式命名的工具\}。(2) 候选工具按意图领域和所需字段组选择；显式命名的工具强制选择；来源约束按来源类型过滤（实验的/计算的/文献的）。当查询模糊且未命名工具时，候选工具按概念匹配分数（精确字段匹配权重高于子字符串），然后模式优先级，然后总字段数最少排序——从不奖励广度。(3) **字段投影是确定性的**：标识符始终包含；概念-字段匹配被添加（标准化，并带有领域概念别名层，因此“体模量”→`K_VRH`，“磁矩”→`total_magnetization`）；意图的字段组作为召回安全网被添加。(4) 单位/来源/许可需求从图中附加。  

此设计使计划在构造时有效（字段来自 \(F_t\)，参数来自 \(P_t\)）、最小化（无全目录转储）且元数据完整，仅使用一个小的路由提示。算法1总结了该过程。  

**算法1** SchemaRouter（每个查询）  
1: 查询 \(q\)；模式图 \(G\)；意图注册表 \(\mathcal{I}\)  
2: 工具计划 \(\pi\)（\((t, \text{params}, \text{fields}, \text{meta})\) 列表）  
3: \((i, C, P, S, T) \leftarrow \text{Understand}(q)\) ▷ LLM：意图、概念、参数、来源约束、命名工具  
4: if \(T \neq \emptyset\) then  
5: \(\mathcal{T}_{\text{cand}} \leftarrow \{ \text{Resolve}(G, t) : t \in T \}\) ▷ 显式工具覆盖  
6: else  
7: \(\mathcal{T}_{\text{cand}} \leftarrow \{ t \in G.\text{tools} : \text{domain}(t) \in \mathcal{I}[i].\text{domains} \land \text{groups}(t) \cap \mathcal{I}[i].\text{required} \neq \emptyset \}\)  
8: if \(S \neq \bot\) then  
9: \(\mathcal{T}_{\text{cand}} \leftarrow \{ t \in \mathcal{T}_{\text{cand}} : \text{sourceType}(t) = S \}\)  
10: end if  
11: \(\mathcal{T}_{\text{cand}} \leftarrow \text{Rank}(\mathcal{T}_{\text{cand}}, C)\) ▷ 概念匹配分数；网络依赖度低；优先级；字段最少  
12: end if  
13: \(\pi \leftarrow \emptyset\)  
14: for all \(t \in \mathcal{T}_{\text{cand}}\) do  
15: \(F \leftarrow \text{Identifiers}(t)\)  
16: for all \(c \in C\) do  
17: \(F \leftarrow F \cup \text{ConceptMatch}(G, t, c)\) ▷ 标准化名称 + 别名层  
18: end for  
19: \(F \leftarrow F \cup \bigcup_{g \in \mathcal{I}[i].\text{required}} \text{FieldsOf}(G, t, g)\) ▷ 召回安全网  
20: \(\text{meta} \leftarrow \text{AttachMeta}(G, t, F)\) ▷ 单位、source_type、许可  
21: \(\pi.\text{append}((t, P | \text{params}(t), F, \text{meta}))\)  
22: end for  
23: return \(\pi\)  

## 5 基准测试  
冻结的工具库包含19个异构工具——材料属性数据库（Materials Project、OQMD、JARVIS、NOMAD、COD等）、化学（PubChem）、文献API（arXiv、Crossref、OpenAlex、PubMed、Europe PMC）、一个商业披露源（DART）和网络/问答后备——共暴露166个响应字段。  

我们构建了一个包含 \(N=110\) 个查询的基准，涵盖九个类别：单工具属性查找（36）、化学查找（12）、来源敏感（12）、多字段属性查找（10）、文献搜索（10）、跨源比较（8）、单位敏感（8）、无合适工具的否定查询（8）和模糊单实体查询（6）。类别分布不平衡（单工具主导）；我们报告微平均和类别平均结果，并提醒宏平均对较稀疏类别赋予相同权重。  

标准计划基于冻结模式（构造上有效的工具/字段）。对于下游研究，我们使用冻结的固定设置：每个工具记录为每个字段分配确定性的标准值；请求的字段携带答案，其他字段充当干扰项。答案正确性由LLM裁判根据标准值判断（对格式健壮）；否定查询要求读者拒绝。  

## 6 实验  
**设置**。自托管vLLM（Qwen-3.5, 122B, MoE），温度0，推理禁用。基线：提示所有工具、仅向量（TEI嵌入）、基于规则和获取所有（所有工具、所有字段）。检索在固定设置上模拟；上下文token数和延迟从读者调用的使用量测量。  

**表1：规划指标（\(N=110\)）**。过度获取越低越好。SchemaRouter较高的规划过度获取（0.46）是**有意为之**：它为下游召回选择意图相关的字段*组*，而非字段数最小的计划。如第6.1节所示，这将下游准确性从0.56提高到0.71，仅增加检索上下文token数从188到227——即过度获取*比率*是一个误导性的代理；实际token成本接近最小。  

**表2：下游RAG（\(N=110\)，相同LLM裁判，bootstrap 95% CI）**。E2E = 端到端。SchemaRouter在答案准确性上达到最高组别（与获取所有相当），同时token成本降低近10倍，并实现了基线中不存在的来源/许可归属（62%的答案包含可验证的元数据）。获取所有工具在准确性上没有优势，但成本极高。仅向量和基于规则的方法在准确性上显著更差。