TokenRouter：面向 token 级 LLM 路由的高效推理服务系统

Hugging Face Daily Papers 论文
llm-routing inference-serving token-level-routing throughput-optimization systems-research scheduling

摘要

TokenRouter 是一个面向 token 级 LLM 路由的高效推理服务系统，采用「请求中心编程、模型中心执行」架构与延迟批调度策略，实现较现有系统 2.01–64.15 倍的解码吞吐提升。

大语言模型（LLM）路由将推理工作负载分配到不同的模型上，从而推进 LLM 服务的成本-质量帕累托前沿。尽管会话级或查询级的粗粒度路由已在生产系统中广泛采用，但近期的算法研究表明，细粒度的 token 级路由能够带来显著的效率与质量增益。然而，高效地服务 token 级路由推理对现有系统提出了严峻挑战。现有系统建立在单 LLM 假设之上，在 token 级路由下面临严重的步调失同步与频繁的批处理准入延迟问题，同时也给开发者带来了较高的实现复杂度。为应对这些挑战，我们设计了 TokenRouter——一个高效且对开发者友好的 token 级路由 LLM 推理服务系统。TokenRouter 遵循「请求中心编程、模型中心执行」的原则：开发者从单个请求的视角描述路由逻辑，而运行时则为每个 LLM 启动一个子服务并异步分发请求。每个子服务采用延迟批调度器，其最优超参数由系统的数学吞吐模型推导得出。在多种路由算法、工作负载与模型组合上，TokenRouter 相较现有系统实现了 2.01–64.15 倍的解码吞吐提升，大幅推进了 token 级 LLM 路由的服务效率。我们的代码已开源：https://github.com/thu-nics/TokenRouter。
查看原文
查看缓存全文

缓存时间: 2026/10/09 06:26

论文页面 - TokenRouter：面向Token级LLM路由的高效服务系统

来源：https://huggingface.co/papers/2610.12242

摘要

大语言模型（LLM）路由将推理工作负载分配到不同的模型上，推动了LLM服务的成本-质量帕累托前沿。虽然粗粒度的会话级或查询级路由已在生产系统中被广泛采用，但近期的算法研究表明，细粒度的Token级路由可以带来显著的效率和质量提升。然而，高效地服务Token级路由推理对现有系统构成了重大挑战。现有系统建立在单一LLM的假设之上，在Token级路由下会遭受严重的步调不同步和频繁的批处理准入延迟，同时给开发者带来了很高的实现复杂度。为了解决这些挑战，我们设计了TokenRouter——一个面向Token级路由LLM推理的高效且开发者友好的服务系统。TokenRouter遵循“以请求为中心编程，以模型为中心执行“的原则：开发者从单个请求的视角描述路由逻辑，而运行时为每个LLM启动一个子服务并异步分发请求。每个子服务采用延迟批处理调度器，其最优超参数由系统的数学吞吐量模型推导得出。在多种路由算法、工作负载和模型对上，TokenRouter实现了比现有系统高2.01至64.15倍的解码吞吐量，显著提升了Token级LLM路由的服务效率。我们的代码已开源：https://github.com/thu-nics/TokenRouter。

查看 arXiv 页面 (https://arxiv.org/abs/2610.12242)　查看 PDF (https://arxiv.org/pdf/2610.12242)　项目页面 (https://fuvty.github.io/thinking_yard_project_page/projects/tokenrouter/)　GitHub 4 (https://github.com/thu-nics/TokenRouter)　添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.12242)

引用本文的模型 0

暂无模型关联到此论文

在模型 README.md 中引用 arxiv.org/abs/2610.12242 即可将此论文关联到该页面。

引用本文的数据集 0

暂无数据集关联到此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.12242 即可将此论文关联到该页面。

引用本文的 Spaces 1

包含此论文的收藏集 0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可将此论文关联到该页面。

相似文章

LLM 路由不是要解决的问题；token 效率才是

Reddit r/AI_Agents

本文认为，模型路由并不是真正要解决的问题——token 效率才是。文章倡导一种整体闭环方法，将更便宜的默认模型、偏好感知路由和更好的缓存（例如 Coinbase 将缓存命中率从 5% 提升到 60%）结合起来，以最大化每美元获得的有用智能。