标签
Escha Labs发布了一个2位量化的Qwen3.8-27B AI模型版本，使其能够在单个24GB消费级GPU上运行，支持高达64k的上下文长度，同时保持与FP8参考版本相当的性能。
一个为期10周、每天30分钟的工程师学习LLM推理服务的路线图，涵盖vLLM、SGLang、负载测试、量化以及优化技术，以构建一个可复现的基准测试。
QuixiAI 报告称，使用 SlimServe 在 4x A100 上运行 DeepSeek v4 Flash 0731，单请求达到 175 tok/s，64 并发请求达到 1k tok/s。
用户在使用 vLLM 在两台 DGX Spark 机器上部署 DeepSeek-V4-Flash-0731 时，寻求社区关于降低 VRAM 占用和释放操作系统 RAM 的建议，分享了详细的配置和内存测量数据。
作者将vLLM的服务栈移植到C++20，生成一个66 MiB的二进制文件，推理时无Python，可逐token与vLLM核对，且在测试硬件上吞吐量具竞争力。
本文介绍了RAG-Stack，一个通过高效探索算法-系统联合配置空间来协同优化RAG服务性能与答案质量的框架。它找到的Pareto前沿比现有配置搜索方法覆盖了显著更广的质量-性能空间。
xMIx 是一个原生服务平台，能够以极低的开销在生产级 LLM 服务系统中部署机械可解释性应用，通过将 MI 函数附加到模型层并在运行时动态激活，实现接近原生的性能。
Lithos 宣布其推理引擎服务 Kimi K2.7 Code，在单个8×B200节点上以原生精度实现每个用户每秒超过1000 token，速度比主流提供商快3.4-5.7倍。
一篇系统综述，回顾系统感知的KV缓存优化技术，用于高效的大语言模型服务，将现有工作组织为执行/调度、放置/迁移和表示/保留三个维度。
一位在 xAI 领导 SGLang 团队的前伯克利博士，解释了如何使用分离预填充/解码、专家分片以及通信/计算重叠，在 10 万块 GPU 上为 Grok 提供服务，以实现碾压 DeepSeek API 的价格。
本文总结了Junda Chen关于LLM分解推理的演讲，解释了为什么goodput（满足延迟SLO的吞吐量）比原始吞吐量更重要，以及分离预填充和解码阶段如何提升性能。文章还强调了其对NVIDIA Dynamo的影响。
本文提出了一种面向LLM推理的分布感知、无预测调度框架，利用轻量级统计信号以软优先级提升替代显式长度预测。该方法联合优化调度与缓存感知的抢占，以降低尾部延迟，相比具备完美长度知识的SRPT，P99 TTLT最多降低35-50%。
用户询问llama.cpp如何为每个用户提供完整的上下文长度，并指出它似乎只是共享上下文池，而不是为每个用户提供专用上下文。
vLLM宣布原生支持Google DeepMind的DiffusionGemma，这是一个260亿参数的离散扩散语言模型，能够并行生成256个token的块，在单个H200上实现1200+ tok/s的低延迟推理。
Modular 的内核团队正在优化对 MiniMax M3 的百万token上下文和原生多模态的服务，开放权重即将发布，可立即在 Modular 上部署。
vLLM-Omni v0.22.0 是一项重大升级，新增了对 NVIDIA Cosmos 世界模型、生产级 TTS（Qwen3-TTS、Qwen3-Omni、VoxCPM2）的稳健支持，更快的扩散模型服务（Wan 2.2、HunyuanVideo 1.5、LTX-2.3），以及更广泛的量化和硬件覆盖，共包含来自 124 位贡献者的 339 个提交。
作者使用vLLM在一张GPU上对服务1000个LoRA适配器进行了基准测试，发现活跃适配器数量和流量模式才是真正的瓶颈，并提供了调优max_loras的建议。
MinT 是一种托管基础设施系统，通过保持基础模型常驻并移动轻量级 LoRA 适配器，实现数百万个 LLM 的高效训练和服务，可跨模型架构、存储和策略管理进行扩展。
vLLM 0.20.0rc1 发布，带来吞吐量、量化、投机解码及多硬件支持的重大改进，助力可扩展的大模型推理服务。