serving

一个用于服务LLM的新开源仪表盘，由MIT开发，即将发布。

Lithos 宣布其推理引擎服务 Kimi K2.7 Code，在单个8×B200节点上以原生精度实现每个用户每秒超过1000 token，速度比主流提供商快3.4-5.7倍。

一篇系统综述，回顾系统感知的KV缓存优化技术，用于高效的大语言模型服务，将现有工作组织为执行/调度、放置/迁移和表示/保留三个维度。

一位在 xAI 领导 SGLang 团队的前伯克利博士，解释了如何使用分离预填充/解码、专家分片以及通信/计算重叠，在 10 万块 GPU 上为 Grok 提供服务，以实现碾压 DeepSeek API 的价格。

本文总结了Junda Chen关于LLM分解推理的演讲，解释了为什么goodput（满足延迟SLO的吞吐量）比原始吞吐量更重要，以及分离预填充和解码阶段如何提升性能。文章还强调了其对NVIDIA Dynamo的影响。

本文提出了一种面向LLM推理的分布感知、无预测调度框架，利用轻量级统计信号以软优先级提升替代显式长度预测。该方法联合优化调度与缓存感知的抢占，以降低尾部延迟，相比具备完美长度知识的SRPT，P99 TTLT最多降低35-50%。

用户询问llama.cpp如何为每个用户提供完整的上下文长度，并指出它似乎只是共享上下文池，而不是为每个用户提供专用上下文。

vLLM宣布原生支持Google DeepMind的DiffusionGemma，这是一个260亿参数的离散扩散语言模型，能够并行生成256个token的块，在单个H200上实现1200+ tok/s的低延迟推理。

Modular 的内核团队正在优化对 MiniMax M3 的百万token上下文和原生多模态的服务，开放权重即将发布，可立即在 Modular 上部署。

vLLM-Omni v0.22.0 是一项重大升级，新增了对 NVIDIA Cosmos 世界模型、生产级 TTS（Qwen3-TTS、Qwen3-Omni、VoxCPM2）的稳健支持，更快的扩散模型服务（Wan 2.2、HunyuanVideo 1.5、LTX-2.3），以及更广泛的量化和硬件覆盖，共包含来自 124 位贡献者的 339 个提交。

作者使用vLLM在一张GPU上对服务1000个LoRA适配器进行了基准测试，发现活跃适配器数量和流量模式才是真正的瓶颈，并提供了调优max_loras的建议。

MinT 是一种托管基础设施系统，通过保持基础模型常驻并移动轻量级 LoRA 适配器，实现数百万个 LLM 的高效训练和服务，可跨模型架构、存储和策略管理进行扩展。

vLLM 0.20.0rc1 发布，带来吞吐量、量化、投机解码及多硬件支持的重大改进，助力可扩展的大模型推理服务。