论文页面 - TRACER：基于追踪的自适应成本高效分类路由系统

来源：https://huggingface.co/papers/2604.14531

摘要

TRACER 是一个开源系统，它利用生产环境追踪数据训练 LLM 分类任务的机器学习替代模型，仅当替代模型与原始模型的一致性超过指定阈值时才激活它，同时提供可解释性，以清晰界定处理边界。

每次调用 LLM 分类端点都会产生一个已标注的输入-输出对，这些数据已存在于生产日志中。这些对构成了一个免费且不断增长的训练集：在其上训练的轻量级替代模型可以吸收未来很大一部分流量，且边际推理成本近乎为零。待解决的关键问题是：替代模型何时足够可靠以部署、它能处理哪些任务而将哪些任务推迟、以及随着数据积累这种边界如何演变。我们提出了 TRACER（Trace-based Adaptive Cost-Efficient Routing，基于追踪的自适应成本高效路由），这是一个开源系统，它在 LLM 自身生产追踪数据上训练机器学习替代模型，并通过一致性门控机制 控制部署：仅当替代模型与 LLM 的一致性超过用户指定阈值 α 时才激活它。为了使路由边界透明化，TRACER 会生成可解释性产物，描述替代模型处理哪些输入区域、在哪些区域表现趋于平稳、以及为何选择推迟处理。在采用 Sonnet 4.6 教师模型的 77 类意图基准测试上，根据质量目标 α 的不同，TRACER 实现了 83% 到 100% 的替代模型覆盖率；在 150 类基准测试上，替代模型完全取代了教师模型。在自然语言推理任务中，一致性门控机制正确拒绝了替代模型的部署，因为嵌入表示无法支持可靠的分类分离。该系统已作为开源软件发布。

查看 arXiv 页面 (https://arxiv.org/abs/2604.14531)查看 PDF (https://arxiv.org/pdf/2604.14531)项目页面 (https://www.tracer.deeprecall.io/)GitHub131 (https://github.com/adrida/tracer)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.14531)

在你的 AI 智能体中获取这篇论文：

hf papers read 2604.14531

没有最新命令行工具？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型（0）

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2604.14531 即可从此页面建立链接。

引用该论文的数据集（0）

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2604.14531 即可从此页面建立链接。

引用该论文的 Space（0）

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2604.14531 即可从此页面建立链接。

收录该论文的收藏集（0）

暂无收藏集收录此论文

将此论文添加到一个收藏集中 (https://huggingface.co/new-collection) 即可从此页面建立链接。