token-level-routing

清华大学等团队发布了 TokenRouter，一个支持小模型与大模型在单次回答中进行 token 级协作的推理服务引擎，通过减少模型切换的等待开销，在双卡 A100 上将 8 路并发的总吞吐从约 135 tokens/s 提升到 372 tokens/s（2.76 倍）。代码与论文均已开源公开。

TokenRouter 是一个面向 token 级 LLM 路由的高效推理服务系统，采用「请求中心编程、模型中心执行」架构与延迟批调度策略，实现较现有系统 2.01–64.15 倍的解码吞吐提升。