TokenSpeed：面向智能体工作负载的"光速"LLM推理引擎（5分钟阅读）

# TokenSpeed：面向智能体工作负载的极速 LLM 推理引擎 来源：https://lightseek.org/blog/lightseek-tokenspeed.html 智能体编程已从 promising demo 迅速发展为重塑软件开发方式以及前沿 AI 系统构建与部署模式的重要力量。Claude Code、Codex 和 Cursor 等系统获得了大规模用户采用，现在生成的 token 数量极为庞大。为满足这一增长需求，需要数十吉瓦电力支持的数据中心正在建设中，背后有数千亿美元的投资支撑。 在这一规模下， orchestrating 模型推理的系统效率变得至关重要。即使每 GPU 吞吐量的微小提升，当应用于整个生产集群时，也能转化为可观的容量节约，同时满足不断增长的需求。 ## TokenSpeed 概览 (https://lightseek.org/blog/lightseek-tokenspeed.html#tokenspeed-overview) TokenSpeed (https://github.com/lightseekorg/tokenspeed) 从第一性原理出发，专为智能体推理场景设计。它为智能体工作负载提供*光速级*推理，具备*基于编译器的并行建模机制、高性能调度器、安全的 KV 资源复用约束、支持异构加速器的可插拔分层内核系统*，以及与 SMG (https://pytorch.org/blog/lightseek-smg/) 集成的低开销 CPU 侧请求入口点。 其建模层 (https://github.com/lightseekorg/tokenspeed/tree/main/python/tokenspeed/runtime/models/base) 采用本地 SPMD（单程序多数据）设计，在性能和易用性之间取得平衡。TokenSpeed 允许开发者在模块边界指定 I/O 放置注解。轻量级静态编译器随后自动在模型构建期间生成所需的集合通信操作，无需手动实现通信逻辑。 TokenSpeed 调度器 (https://github.com/lightseekorg/tokenspeed/tree/main/tokenspeed-scheduler) 将控制平面与执行平面解耦。控制平面使用 C++ 实现为有限状态机，与类型系统协同工作，在编译时而非运行时强制执行安全的资源管理，包括 KV 缓存状态转移和使用。请求生命周期、KV 缓存资源和重叠时序通过显式的 FSM 转换和所有权语义来表示，因此正确性由可验证的控制系统而非约定来保证。执行平面使用 Python 实现以保持开发效率，实现更快的功能迭代和更低的研究人员与工程师认知负担。 TokenSpeed 内核层 (https://github.com/lightseekorg/tokenspeed/tree/main/tokenspeed-kernel) 将内核与核心引擎分离，将其视为一等模块化子系统。它提供可移植的公共 API、集中化的注册与选择模型、有组织的实现、用于异构加速器的可扩展插件机制、精选依赖项，以及支持快速迭代的统一基础设施。我们还在 NVIDIA Blackwell 上大力投入性能优化——例如，我们构建了面向智能体工作负载的最快 MLA (Multi-head Latent Attention) 内核 (https://github.com/lightseekorg/tokenspeed/tree/main/tokenspeed-mla) 之一。在解码内核中，我们将 q_seqlen 和 num_heads 分组以充分利用 Tensor Core，因为在这些用例中 num_heads 较小。二元预填充内核包含经过精细调优的 softmax 实现。TokenSpeed MLA (https://github.com/lightseekorg/tokenspeed/tree/main/tokenspeed-mla) 已被 vLLM (https://github.com/vllm-project/vllm/pull/41778) 采用。 ## 性能预览 (https://lightseek.org/blog/lightseek-tokenspeed.html#performance-preview) 今天，我们分享 TokenSpeed 的性能预览。开发工作于 2026 年 3 月中旬启动。*引擎和内核仍在积极开发中，生产加固计划在未来一个月内完成。预计未来几周将有更多 PR 合并。* 编码智能体带来了异常苛刻的推理工作负载。上下文通常超过 50K token，对话经常跨越数十轮。大多数公开基准测试无法完全捕捉这种行为。我们与 EvalScope (https://github.com/modelscope/evalscope) 团队合作，针对 SWE-smith 轨迹评估 TokenSpeed，该轨迹紧密反映了生产环境中的编码智能体流量。由于生成速度对智能体的用户体验至关重要，我们的目标是在*保持每用户 TPS（每秒 token 数）下限*——通常为 70 TPS，有时 200 TPS 或更高——的同时，*最大化每 GPU TPM（每分钟 token 数）*。 我们将我们的设计 (https://github.com/lightseekorg/tokenspeed/tree/main/test/agentic_benchmark) 与 TensorRT-LLM——NVIDIA Blackwell 上的当前最先进技术——进行了基准测试，并在我们认为对智能体工作负载存在更好权衡的地方采用了不同的方法。 > **注意：** 本博客聚焦于单节点（非分离式）部署。PD 分离支持正在进行清理，我们将在后续的专门博客中介绍。 下图展示了 Kimi K2.5 在不同部署配置下（不使用 PD 分离）TokenSpeed 和 TensorRT-LLM 的性能帕累托曲线。每条曲线以 TPS/User（x 轴）作为延迟指标，以 TPM/GPU（y 轴）作为吞吐量指标，通过扫描并发度绘制。对于编码智能体（高于 70 TPS/User），最佳配置是 Attention TP4 + MoE TP4，TokenSpeed 在整个帕累托前沿上均优于 TensorRT-LLM：在最小延迟情况下（batch size 为 1）快约 9%，在约 100 TPS/User 时吞吐量高约 11%。 TokenSpeed 与 TensorRT-LLM 在智能体工作负载和 NVIDIA B200 上的性能帕累托曲线对比 我们的核心优化之一是 TokenSpeed MLA (https://github.com/lightseekorg/tokenspeed/tree/main/tokenspeed-mla)。下图将 TokenSpeed MLA 与 TensorRT-LLM 的 MLA（NVIDIA Blackwell 上的当前 SoTA）进行了比较。我们的优化二进制版本预填充内核使用 NVIDIA 内部参数精细调优 softmax 实现，在编码智能体的五种典型预填充工作负载（具有长前缀 KV 缓存的预填充）上均优于 TensorRT-LLM 的 MLA。解码内核将查询序列轴折叠到头轴以更好地填充 BMM1 `M` 瓦片，提高 Tensor Core 利用率。结合其他优化，这在典型解码工作负载上使用推测解码（batch size 为 4、8 和 16 且带有长前缀 KV 缓存）时，相对于 TensorRT-LLM 几乎将延迟降低了一半。 TokenSpeed MLA 预填充和解码性能与 TensorRT LLM MLA 的比较 ## 致谢 (https://lightseek.org/blog/lightseek-tokenspeed.html#acknowledgments) TokenSpeed 与 NVIDIA DevTech、AMD Triton、Qwen Inference、Together AI、Mooncake、LongCat、FluentLLM、EvalScope、NVIDIA Dynamo 和 LightSeek Foundation 合作开发。[[1]](https://lightseek.org/blog/lightseek-tokenspeed.html#fn1) 我们感谢 TensorRT-LLM 维护者，他们的工作为我们设立了衡量标准。我们的许多优化都受到 TensorRT-LLM 的启发，包括单 CUDA 图优化和前向传播优化。我们也感谢更广泛的开源推理社区——包括 Triton、FluentLLM、vLLM、EvalScope、FlashInfer、SGLang 等——为提升生产级 LLM 服务的天花板所做的工作。 我们感谢 OpenAI、NVIDIA、AMD、Verda 和 Nebius 提供的计算支持。 --- --- 1. **贡献者** **共同创造者：** Enwei Zhu, Jiying Dong, Xipeng Li (NVIDIA) · Pengzhan Zhao, Kyle Wang, Lei Zhang (AMD) · Jiandong Jiang, Tuan Zhang, Minmin Sun (Qwen Inference) · Jue Wang, Yineng Zhang (Together AI) · Hongtao Chen, Mingxing Zhang (Mooncake) · Bo Wang, Fengcun Li (LongCat) · Xiangyang Ji, Yulei Qian (FluentLLM)。**核心运行时：** 调度器 — Yulei Qian, Fengcun Li, Bo Wang。内核 — Lei Zhang, Pengzhan Zhao, Kyle Wang。建模 — Yulei Qian, Xiangyang Ji, Jue Wang。MLA — Albert Di, Jiying Dong。语法和采样 — Jue Wang, Weicong Wu。MoE — Hongtao Chen。VLM — Hongtao Chen, Fengcun Li, Bo Wang。**模型优化：** Kimi K2.5 光速优化 — Enwei Zhu, Jiying Dong, Yue Weng, Albert Di。Qwen 3.6 — Minmin Sun, Tuan Zhang, Jiandong Jiang。DeepSeek V4 — Jiying Dong, Qingquan Song, Qiukai Chen, Yechan Kim, Hejian Sang。AMD 上的 GPT-OSS — Pengzhan Zhao, Kyle Wang。Minimax M2.7 — Fan Yin, Jue Wang。**系统与集成：** 分布式运行时 — Xuchun Shang, Teng Ma。推测解码 — Yue Weng。AsyncLLM 和 SMG — Simo Lin, Keyang Ru, Xipeng Guan。TensorRT-LLM 内核 — Aaron Liu, Enwei Zhu。指标 — Fred Wang。EvalScope 基准测试 — Xingjun Wang, Yunlin Mao。Dynamo 集成 — Yuewei Na, William Arnold。[↩︎](https://lightseek.org/blog/lightseek-tokenspeed.html#fnref1)