标签
清华大学等团队发布了 TokenRouter，一个支持小模型与大模型在单次回答中进行 token 级协作的推理服务引擎，通过减少模型切换的等待开销，在双卡 A100 上将 8 路并发的总吞吐从约 135 tokens/s 提升到 372 tokens/s（2.76 倍）。代码与论文均已开源公开。
一篇讲解 LLM 服务调度循环的教学文章，解释推理请求如何经过等待队列、批量构建、prefill、decode 和 continuous batching，使 GPU 在不同请求先后完成时仍保持满载运行。
dlmserve 是首个面向扩散语言模型的开源服务引擎，提供兼容 OpenAI 的 API、持续批处理功能，在 12GB VRAM 内即可运行，吞吐量是 Hugging Face 的 2.5 倍。