@rohanpaul_ai：清华大学的新论文构建了 TokenRouter，这是一个推理服务系统，可逐 token 在小模型和大模型之间进行路由，最高可达 64.15…

X AI KOLs Timeline 论文
token-routing llm-serving inference-optimization kv-cache throughput mixture-of-experts

摘要

清华团队发表 TokenRouter 论文，提出一种按 token 级别在大小模型间路由的 LLM 服务系统，通过独立服务器协作与 KV cache 传递，在 5 种路由方法上实现相比现有最强框架 2.01 到 64.15 倍的吞吐提升。

清华大学的一篇新论文提出了 TokenRouter，这是一个支持在小模型和大模型之间逐 token 路由的推理服务系统，其吞吐量最高可达现有方案的 64.15 倍。 目前主流的推理服务框架（如 vLLM 和 SGLang）每个请求只运行一个模型，因此，当两个模型共同生成一个回答时，每一步都要等待较慢的那个模型。 TokenRouter 为每个模型配备独立的服务器，让它们能够来回交接任务。它会在两个模型之间传递尚未写完的回答，同时保留模型对已生成文本的记忆（即 KV 缓存），并让请求短暂等待，以便每个模型处理更大的批次。 在 5 种路由方法中，相比表现更强的现有方案，吞吐量提升至其 2.01 至 64.15 倍。 – arxiv. org/abs/2610.12242 标题：“TokenRouter：用于 token 级大语言模型路由的高效推理服务系统”
查看原文
查看缓存全文

缓存时间: 2026/10/10 10:47

清华大学的一篇新论文提出了 TokenRouter，这是一种服务系统，可逐 token 在小模型和大模型之间进行路由，吞吐量最高可达现有方案的 64.15 倍。

目前流行的服务框架（如 vLLM 和 SGLang）每个请求只运行一个模型，因此，当两个模型共同生成一个回答时，每一步都要等待较慢的那个模型。

TokenRouter 为每个模型配备独立的服务器，让它们能够来回交接任务。它在模型之间传递尚未写完的回答，同时保留模型对已生成文本的记忆（即 KV 缓存），并让请求短暂等待，以便每个模型处理更大的批次。

在 5 种路由方法中，吞吐量达到了现有方案中较强方案的 2.01 至 64.15 倍。

– arxiv. org/abs/2610.12242

标题：“TokenRouter：面向 token 级大语言模型路由的高效服务系统”

相似文章

@GitHub_Daily: 最近一个名为 9router 的开源工具火了，给所有 AI 编程工具加了一个智能调度中心。 像平时用 Claude Code 写代码，API 额度消耗极快，遇到大段报错日志更是瞬间把 Token 烧光。 而 9router 则内置了智能压…

X AI KOLs Timeline

9router 是一个开源的 AI 编程工具智能路由中心，内置压缩算法节省 Token，支持三级降级自动切换模型，原生兼容 Claude Code、Cursor 等主流工具，可路由到数十家模型服务商，有效降低 API 调用成本。