预路由推理:面向成本高效文档字段提取
摘要
本文研究了是否可以在推理之前使用低成本特征预测文档提取难度,从而使路由器能够在廉价模型与强大模型之间进行选择。路由在某些体裁中最多可降低77%的成本,同时保持质量,但前提是难度存在差异且可从文档特征中预测。
arXiv:2608.06607v1 公告类型:新
摘要:大多数文档提取系统对所有文档使用单一模型。这虽然简单,但对简单案例可能成本高昂,对困难案例效果欠佳。我们研究是否可以在提取之前使用廉价的、基于文档的信号来预测文档的难度,并据此在较便宜的提取器与较强的提取器之间进行选择。我们发现,路由仅在两个条件成立时有帮助:较便宜的模型失败频率足够高,使得路由值得进行;并且这些失败可以从可见特征(如图像质量和布局)中预测。我们将这些转化为一个实际测试,并将其应用于五种体裁。当两个条件都满足时,校准后的路由器在收据上将成本降低31-33%,在退化的广告投放表单上将成本降低77%,同时将质量维持在始终选择大模型的F1值0.02以内。如果任一条件缺失,路由则无帮助,例如清晰的电子发票或本就易于读取的营养标签。一个小型带标签的试点可以预测路由是否有效,在我们首先运行的两个案例中,预测是正确的。简单的词袋路由器与工程特征效果相当,表明主要限制在于体裁而非路由器设计;我们使用可解释特征来帮助解释哪些体裁可以路由。路由器必须针对每个数据集重新训练,并且无法跨数据集迁移,即使在同一体裁内也是如此。这些结果适用于两对成本差异分别为5倍和3倍的模型。
查看缓存全文
缓存时间: 2026/08/10 08:02
# 预推理路由实现高性价比文档字段抽取 Source: https://arxiv.org/html/2608.06607 ###### 摘要 大多数文档抽取系统对所有文档使用单一模型。这很简单,但对简单案例成本较高,对困难案例效果较差。我们研究是否可以在抽取*之前*使用廉价的、基于文档的信号预测文档难度,并据此在较便宜与较强的抽取器之间做出选择。我们发现,只有当两个条件同时成立时,路由才有帮助:较便宜模型失败得足够频繁,使得路由有价值;并且这些失败可以从图像质量、布局等可见特征中预测出来。我们将这些转化为一个实用测试,并应用于五种文档类型。当两个条件都满足时,校准后的路由在收据上降低 31–33% 的成本,在退化的广告购买表单上降低 77% 的成本,同时保持质量与始终选择大模型的 F1 差距在 0.02 以内。如果任一条件缺失,路由没有帮助,例如已经易于阅读的干净数字发票或营养标签。一个小型标注试点可以预测路由是否有效;在我们首先开展试点的两个案例中,预测都是正确的。一个简单的词袋路由器与工程特征的效果大致相当,表明主要限制在于文档类型本身,而非路由器设计;我们使用可解释特征来帮助解释哪些文档类型适合路由。路由器
相似文章
我基于难度撰写了自己关于模型路由的研究发现
作者在LlamaIndex的extractbench基准测试上进行了一次小实验,比较了Claude Opus 5和Qwen模型,发现两者性能相似,具有成本优势,并且提取难度与文档长度之间存在相关性。
面向编码器跨语言性能提升的查询感知路由
该论文为多语言编码器提出了查询感知路由方案:将仅基于查询的低秩适配器(SampoTron)与确定性语言路由相结合,其中适配器以冻结的 Nemotron-3-Embed-1B 文档嵌入为目标进行训练。在涵盖英语、芬兰语和瑞典语的六个检索方向上,该方法实现了 20.9% 的 nDCG@10 相对提升,同时保持了同语言检索性能及现有文档索引不变。
最佳模型路由因任务而异(6分钟阅读)
模型路由是降低推理成本的热门趋势,但最佳路由高度依赖具体任务。Harvey和Factory等团队通过专注于单一工作流而非通用路由器,实现了显著的成本节约。
RetrievalRouter:文档检索的联合模态与架构选择
RetrievalRouter 是一个轻量级的查询感知路由器,能够自适应选择检索管道,以提高文档检索的准确性和速度,超越静态基线。
基于肘部的MoE路由:一种免训练的推理时插件用于专家选择
本文介绍了基于肘部的路由,这是一种针对MoE模型的免训练推理时方法,通过检测路由器概率分布中的肘部点,动态调整每个令牌的活跃专家数量,在保持准确率的同时实现了平均5.3%的延迟降低。