标签
Hierarchical Global Attention (HGA) 是一种可直接替换预训练长上下文Transformer中密集因果注意力的方法。它采用分层两级路由机制，使得能够对一个小规模路由工作集进行精确注意力计算，从而允许像 Qwen3-30B 这样的模型在单个 RTX 5090 上以64K上下文运行，且质量损失极小。
一则讨论如何在llama.cpp中释放GPU内存实用技巧的帖子，例如将mmproj卸载到CPU、调整KV缓存类型，同时讨论了--cache-type-k/v和--spec-draft-n-max等参数。
一篇详细的博客文章，解释了 vLLM 的工作原理，包括 PagedAttention、KV 缓存管理和连续批处理，以实现高效的 LLM 服务。
一款估算哪些LLMs适合用户GPU内存的工具，根据性能对模型进行排名，同时考虑内存限制和量化级别。
InfiniteKV 是一种开源 KV 缓存技术，将旧 token 压缩为 104 字节的可搜索记录，存储在内存或磁盘中，使模型能够处理超出训练窗口的百万 token 上下文而无需丢弃数据。已验证可与 Mistral-7B 和 SmolLM2 配合使用。
提出在DeepSeek-V4上结合神经记忆索引器的前瞻稀疏注意力，将GPU内存使用降至全上下文基线的约13.5%，同时保持或略微提升准确率。
一份实用指南，解释了如何根据参数量和量化级别计算LLM的VRAM需求，以及KV缓存、激活值和批处理带来的额外开销。
本文对在共享异构硬件上调度多个LLM进行了实证研究，重点关注CPU-GPU卸载和抢占的性能影响。研究发现，卸载会导致非线性的解码吞吐量下降，尤其是对于较小的模型，而抢占开销主要由模型状态重载主导，为未来多模型调度器的设计提供了指导。
讨论了本地AI中密集模型与混合专家（MoE）模型之间的权衡，指出高内存用户除了Qwen 3.5 122B之外，MoE选择有限，并质疑大显存是否是唯一可行的路径。
IceCache 通过“动态连续索引”（DCI）技术，在超长生成任务中将 GPU 内存占用压到恒定，且精度损失极小。