标签
一篇关于 NVIDIA 的 TriAttention 研究的讨论，该研究聚焦于 vLLM 中的 KV 缓存压缩，认为真正的收益来自释放 GPU 内存块，而非逐出 token。据报告，解码速度提升至 2.5 倍，KV 缓存内存占用降至原来的 1/10.7。
vLLM 的每日构建版本现已支持 PLE 磁盘卸载，可在 LLM 推理服务中将 KV 缓存卸载至磁盘，缓解内存压力。该更新已在 vLLM 的每日构建渠道上线。
开源推理工程仓库的第 6 部分已发布，涵盖使用真实模型推理和 DynamicCache 进行 KV 缓存内存分配、增长、释放，以及容量感知调度。
将于10月20-21日在圣何塞举办的PyTorch北美大会将展出来自Moreh的Bongwoo Bak关于KV缓存块放置的海报，涵盖vLLM在GPU、CPU和共享存储之间的卸载策略。该推文还介绍了大会的注册等级和票价信息。
DisaggKD 提出将教师与学生模型分离到不同节点上进行知识蒸馏，并设计一种融合损失在行窗口与词汇表分片上等价于全词汇表损失，从而突破单 GPU 内存限制，在 Qwen3.5 等大模型对上实现与同位部署相当的损失且训练更快。
此仓库帮助DGX Spark用户利用备用GPU释放内存，以提升上下文长度或量化质量，通过远程推理卸载草稿模型，并使用vllm修改版。
SlideDP 提出了一种用于驻留主机内存的层流式（layer streaming）方案的异步数据并行运行时，可在多 GPU 上对超出显存容量的 LLM 进行微调；在四块 RTX 4090 上微调 Qwen2.5-72B 时，其吞吐量相比 SlideFormer、MegaTrain 和 ZeRO-Offload 提升了 1.46–2.64 倍，甚至超过了 FSDP2 的峰值吞吐量。
KVCMAS引入了一个用于多智能体系统的高效KV缓存修正框架，该框架减少了计算和内存开销，同时实现更快的推理并保持准确性。
Nokia Applied Research 已开源 WiSP，这是一个 vLLM 插件，用于在显存不足的 GPU 上运行 MoE 模型，通过智能地对专家进行分页并利用 KV 缓存重新分配内存，实现了高达 2.0 倍的解码吞吐量提升。
本文介绍了限制大规模MoE训练中四个关键内存峰值的方法，使得在1M上下文长度下使用固定GPU内存进行训练成为可能，并且相比基线，吞吐量提升高达10.4倍。
本文解释了在大语言模型（LLM）推理过程中GPU内存的使用方式，将其分解为四个关键组件：模型权重、KV缓存、激活值/工作区和运行时开销。文章强调了量化在优化内存使用以提升性能方面的重要性。
本文介绍了管理长上下文长度下训练大型混合专家模型内存峰值的技术，包括Pipelined LLEP、Ring-DTP、SCO和OffloadStreamAdamW，这些技术实现了固定的GPU工作集，并将吞吐量提高了多达10.4倍。
通过实现一个基于Rust的守护进程来动态休眠不活跃的AI模型，本地代理的GPU内存使用可以从122 GB减少到43 GB，唤醒延迟低于200毫秒，使得在单个工作站上运行多个模型变得可行。
System76 推出了 Thelio Mira AI Linux 工作站，配备高达 192 GB 的 GPU 内存，适用于 AI 和高性能计算应用。
在PyTorch Conference North America上，Ricardo Noriega de Soto和Alexander Brooks将演示如何将vLLM的前缀缓存机制扩展到多阶段流水线，以提升推理速度并减少GPU内存开销，为优化复杂AI工作负载提供实用策略。
本文详细介绍了 GPU 内存写入的过程，追踪了 STG.E 指令在 RTX 4090 上通过各种硬件组件如负载/存储单元、合并器和 L1 缓存的执行路径。
DGX Spark 的 NVIDIA 开源内核驱动迎来两项修复：进程退出时释放的 GPU 内存将归还操作系统，同时为 GPU 访问系统内存产生的缺页异常启用大页机制，首次访问带宽从 0.4 提升至 19.6 GiB/s。
TOPAS是一种面向工作流的前缀状态调度方法，用于多智能体LLM服务，通过优化缓存使用和请求调度来减少作业完成时间。
基准测试表明，4位量化的Qwen3.8 27B在Terminal-Bench 2.1等基准测试中保持性能，且适配24GB显卡，但1位量化导致严重性能下降。
PagedAttention将虚拟内存概念应用于语言模型中的KV cache，减少内存碎片化，并使推理引擎能够在每个GPU上服务2-4倍的用户。