vllm

一篇关于 NVIDIA 的 TriAttention 研究的讨论，该研究聚焦于 vLLM 中的 KV 缓存压缩，认为真正的收益来自释放 GPU 内存块，而非逐出 token。据报告，解码速度提升至 2.5 倍，KV 缓存内存占用降至原来的 1/10.7。

AMD 正投入大量工程和算力资源向 vLLM 倾斜，以绕开 NVIDIA 的 CUDA 护城河，推动推理软件标准化、摆脱特定硬件绑定，从而让整个生态受益但双方回报不对称。

一位开发者分享了开源的 vLLM 补丁和 Triton 内核，通过将完整的 int4 KV 缓存保存在系统内存中，并利用秩为 64 的键草图在每个注意力计算步骤中仅提取约 1% 的 token，实现了在两张 RTX 3090 上并发运行 8 个上下文长度为 25 万 token 的编程智能体。据其报告，总吞吐量约为 545–790 token/秒，在 25 万 token 的上下文长度下，召回成绩为 31/32。

一位实践者基于两周的大量智能体日志，对比了采用 INT8 与 INT4 AWQ 量化运行的 Qwen3 27B，发现 INT4 会显著提高推理循环发生率（从每千次调用 1.9 次增至 4.7 次），使任务成功率从 92% 降至 78%，而且在超过 10 万 token 的长上下文中，差距会进一步扩大。INT8 甚至 BF16 也会出现循环，因此量化只是加剧了这一问题，而非其根源。

vLLM 的每日构建版本现已支持 PLE 磁盘卸载，可在 LLM 推理服务中将 KV 缓存卸载至磁盘，缓解内存压力。该更新已在 vLLM 的每日构建渠道上线。

文章清晰解释了前缀感知的 LLM 路由机制：通过按块哈希提示词并维护块到 worker 的索引，让请求路由到持有共享前缀 KV 缓存的 GPU，实测在 8 个 vLLM Pod（16 张 H100）上将 p90 首 token 延迟从 92.5 秒降至 0.54 秒。

论文提出了 InfraDev 基准，包含 36 个源自 Megatron-LM、vLLM 和 verl 真实 PR 的任务，用于评估编码代理开发生产级 AI 基础设施的能力。目前表现最佳的前沿模型仅能解决 38.9% 的任务，揭示了代理在分布式系统开发中的显著短板。

一位开发者搭建了配备两块 RTX 5060 Ti 显卡（共 32GB 显存）的本地 GPU 基准测试服务器，运行 vLLM，对 12 个从 4B 到 35B 的量化开放权重模型进行了完整基准数据集测试，并加入了实际耗时效率评分，最终在 llmbenchmarks.io 上发布了可排序的测试结果。

Google Gemma 声称利用 Gemini 4 Argon 在 A100 上通过 vLLM 实现了 2.85 倍推理加速，gemma-4-E2B-it 吞吐量从约 37,900 提升至 108,000+ tokens/sec，且保持 100% token parity、无质量下降。

Ubicloud介绍了vLLM新增的受限解码支持（vLLM 0.31中的服务端标志）如何修复工具调用schema准确率问题，将较新的Kimi和DeepSeek模型的合规率从vLLM 0.28时的92%提升至100%。

一位爱好者分享了测试结果：在配备 4 块 Intel B65 的系统上，将分块大小增至 8192 后，vLLM Flash-Next 的预填充速度提升约 30%，首 token 延迟（TTFT）缩短约 30%，并附有详细的 Qwen3.8-Flash-Next 基准测试表格和 LibreChat 演示。

该论文提出 FlashNext-RL——一个针对 Qwen3.8-Flash-Next 的模型专用长时程智能体强化学习训练优化框架，基于 prime-rl 与 vLLM，在单个 8×B200 节点上将 BF16 全模型训练吞吐量从约 395 词元/秒/GPU 提升至 4,438 词元/秒/GPU（131K 词元上下文），并支持实时软件工程强化学习训练运行。

蚂蚁集团与 vLLM 社区宣布开源 Humming，这是一个面向量化推理的通用高性能 Kernel 库，支持广泛的 GPU 覆盖和多种量化格式，性能超越 Marlin、FlashInfer 和 DeepGEMM 等现有实现。

NVIDIA 研究人员提出 MLIPS，一种免训练方法，通过在稀疏注意力层之间共享生产者层的广泛候选池，在 DeepSeek-V4-Flash 上实现 1.14–1.40 倍加速和 14.8–27.4% 的 GPU 能耗降低，且精度变化极小。

llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈，支持 vLLM、SGLang 等引擎，可在 GPU、TPU、XPU 等异构硬件上提供生产级服务，并宣称大幅提升吞吐量与降低 TTFT。

EAGLE-4 发布：新一代投机解码草稿模型与 eagle-harness 工具包，可跨批量大小、硬件和工作负载自适应加速 LLM 推理，速度超过 DFlash2 与 DSpark，支持 SGLang、vLLM 和 TokenSpeed 引擎。

来自 Inferact 的 Simon Mo 在 PyTorchCon 2026 上介绍了 vLLM 项目的最新进展，重点展示了跨 TPU、AMD 和 NVIDIA 硬件的 KV cache 管理和内核优化，以应对 LLM 在性能和可扩展性方面面临的挑战。

Shopify 在 PyTorchCon 2026 主旨演讲中展示基于 PyTorch 与 vLLM 的持续学习闭环：校准评审模型标记低分输出，批评者诊断失败并通过重放修复，使小规模专用模型在特定任务上超越前沿模型，同时通过提示压缩优化推理。

作者用 4 张 Intel Arc Pro B65 显卡搭建测试平台，对 Flash-Next 与 Qwen3.8-27B 等模型进行了长上下文吞吐量扫描，给出了不同量化格式（W4A16/INT4/FP8/BF16）和并发数下的 tokens/sec 数据。测试基于 vLLM，衡量的是吞吐量而非模型质量，后续将持续更新调优结果。

将于10月20-21日在圣何塞举办的PyTorch北美大会将展出来自Moreh的Bongwoo Bak关于KV缓存块放置的海报，涵盖vLLM在GPU、CPU和共享存储之间的卸载策略。该推文还介绍了大会的注册等级和票价信息。