标签
AirLLM 是一个开源工具，通过分层流式加载，使得在单张8GB游戏显卡上运行4050亿参数模型成为可能，免费使用，采用Apache 2.0许可证。
Google 开源了一个向量索引，将 31GB 的 AI 内存压缩到 4GB，可容纳 1000 万文档，搜索速度比 FAISS 更快，且无需训练或 GPU。
一种无需量化或重新训练即可从 GLM-5.2（753B 权重）中移除 423 GB 的技术，通过在 VRAM 中保持权重压缩状态实现逐比特精确压缩。
MosaicKV引入了用于长上下文LLM服务的动态二维KV缓存压缩，实现了高达16倍的注意力加速和3倍的内存减少，且精度损失极小。
提出Block-GTQ，一种感知RoPE的KV缓存量化比特分配方法，通过为高能量RoPE块分配更多比特，提升长上下文性能与内存效率。
深入理解 FlashAttention 的可视化讲解，涵盖内存优化和算子融合，以实现语言模型训练中的高效注意力计算。
逆向工程 Qualcomm NPU 编译器揭示了未文档化的 VTCM 内存管理、基于 MILP 的布局、自动精度更改，以及一个用于边缘部署优化的隐藏分析模拟器（Hextimate）。
LMCache 是一个 KV 缓存管理层，通过缓存并复用 KV cache 来加速大模型推理、降低显存消耗，已获 9.2K star 并加入 PyTorch 基金会，被 NVIDIA Dynamo 集成。
在sm120上使用NVFP4 KV缓存量化显著提高了大语言模型的内存效率，使32GB VRAM系统在196k上下文大小下使用Qwen3.6-27B实现约60 tok/秒的推理速度。
PolyKV是一种逐层的KV缓存压缩框架，为每一层分配异构的驱逐策略和非均匀的预算，在LongBench上使用LLaMA-3.1-8B和Qwen3-8B相比统一基线有显著提升。
本文提出了llada.cpp，一种NPU感知推理框架，用于在智能手机上加速扩散大语言模型（dLLM）。它引入了三种技术——Multi-Block Speculative Decoding、Dual-Path Progressive Revision和Swap-Optimized Memory Runtime——以使dLLM推理与移动NPU特性对齐，实现了相比CPU基线17-42倍的延迟降低。
本文介绍了Tangram，一个服务框架，它静态解析多轮LLM服务中的非均匀KV缓存压缩，相比全KV基线实现了高达2.6倍的吞吐量提升，同时消除了运行时开销。
IntentKV提出了一种针对多轮LLM Agent的跨轮次意图感知KV缓存剪枝方法，通过维护会话级别的查询记忆来高效剪枝缓存，且不损失精度，显著减少了token使用量和KV读取次数。
本文提出了一种针对Tenstorrent Tensix架构上大语言模型推理的算子融合策略，将RMSNorm与矩阵乘法融合，以提高数据局部性并减少DRAM访问。在Wormhole平台上，使用Qwen2.5-0.5B、Qwen3-0.6B和Qwen3-4B进行的实验显示，注意力模块延迟降低高达37.44%，MLP延迟降低15.89%。
这条推文挑战了关于Transformer需要独立的Q、K和V投影的基本假设，提出合并它们可以为KV缓存带来巨大的内存节省。
谷歌开发了一种方法，将AI内存使用量从31GB压缩到4GB，代表了AI模型效率的重大突破。
一位用户分享了在llama.cpp中将KV缓存卸载到RAM的经验，在释放显存以便运行更大模型和上下文窗口的同时，实现了相近的速度，表明这种权衡通常是值得的。
解释了由于注意力的二次复杂度，扩展Transformer上下文窗口所带来的内存挑战，并暗示了解决方案。
AirLLM 是一个完全开源的工具，通过分层推理技术（逐层加载并立即释放显存），使得 70B 大语言模型可在仅 4GB 显存的 GPU 上运行，无需量化、蒸馏或剪枝，并已支持 Llama3.1 405B 在 8GB 显存上运行。