标签
dMoE 提出了用于扩散大语言模型的块级专家路由，将唯一激活的专家数量从 69.5 降至 14.6，同时保留了 99.11% 的性能，并实现了 76-80% 的内存减少和 1.14-1.66 倍的加速。
一位用户对 Flash Attention 2 的 V100 兼容端口进行了基准测试，报告称相比默认的 PyTorch 注意力机制，速度提升了 3 到 17 倍，内存减少了高达 94%。
提出GEMQ，一种面向MoE大语言模型的全局专家级混合精度量化方法，利用线性规划和路由器微调来减少内存占用并加速推理，同时将精度损失降至最低。
一条推文分享了来自KVCache.ai的KV缓存大小计算器，这是一个用于估算本地LLM推理中KV缓存内存使用量的工具，并强调DeepSeek V4 Pro的100万token仅使用5GB内存。
讨论了在 llama.cpp 中使用非对称 KV 缓存量化时的注意事项，其中不匹配的 q8/q4 类型会导致提示处理在 CPU 而非 GPU 上进行，并提出了通过编译标志进行修复的方案。
TideGS提出了一种外存训练框架，通过块虚拟化、异步流水线和差分流式传输技术，在SSD-CPU-GPU层级管理参数，使得在单个GPU上能够以超过十亿原语进行3D高斯泼溅训练。
一位开发者展示了如何使用llama.cpp，通过MoE卸载和TurboQuant KV缓存量化技术，在老款GTX 1080（8GB显存）上以128k上下文运行Qwen 3.6 35B-A3B和Gemma 4 26B-A4B等MoE模型，达到24+ tok/s的推理速度，并揭示了针对Gemma MTP投机解码的优化技巧。
本文介绍了 CATS，这是一种级联自适应树猜测框架，旨在通过优化内存使用同时保持高 Token 接受率，加速内存受限边缘设备上的 LLM 推理。
本文提出了一种面向长上下文大语言模型的训练-推理一致性分段执行框架，旨在解决全上下文训练与受限推理机制之间的不匹配问题，在显著降低内存占用的同时实现了相当的性能。
本文分析了 Rust 中 Tokio 的 mpsc 通道中意想不到的内存分配开销，揭示了由于内部块大小导致的每个通道的固定开销。文章展示了这一开销如何影响诸如 Agent Gateway 这样的大规模应用程序，并建议采用 futures-channel 等替代方案以提高内存效率。
本文介绍了 CERSA，这是一种新颖的参数高效微调方法，它利用奇异值分解来保留主成分，在显著降低内存使用的同时，其表现优于 LoRA 等现有方法。
本文分析了受 TurboQuant 启发的 KV 缓存量化方案，利用统计推断和新的 6D 误差框架来评估 KL 散度、几何误差等质量指标。
该工具支持通过从 SSD 流式加载模型权重，在 16GB Mac 上运行 Qwen3.5-35B 等大型语言模型，经优化配置后最高可达 30 tok/s。
本文介绍了 LaProx，这是一种用于长上下文大模型推理的新型 KV 缓存淘汰策略。它将问题重构为输出感知的矩阵乘法近似问题，仅使用 5% 的缓存用量即可实现高性能。
本文提出了 LKV，这是一种通过端到端学习基于 Attention Head 的预算分配与 Token 选择策略来优化大语言模型 KV 缓存淘汰的方法，在实现高压缩率的同时取得了最先进的性能表现。
本文介绍了 RateQuant，一种用于优化混合精度 KV Cache 量化的方法。该方法利用率失真理论解决失真模型不匹配问题，与 KIVI 和 QuaRot 等现有方法相比，在极低的校准开销下显著降低了困惑度。
作者开源了一种名为 catalyst-brain 的新型 KV-cache 解决方案，声称可大幅降低本地模型对 RAM 的需求，并可能实现无限上下文窗口。
本文提出了一种基于学习的全局保留率 KV 缓存淘汰方法，通过选择性保留有用 Token 并减少注意力稀释来改善长上下文推理能力，同时显著降低内存占用。
本文针对混合和循环大语言模型提出了稀疏前缀缓存方法，该方法在有限的检查点位置存储循环状态，从而避免密集缓存，同时最小化重计算量。在真实数据上，该方法优于标准启发式方法，尤其是在请求共享大量但非完全相同的前缀时。
Unsloth开源工具将大模型微调速度提升2-5倍、显存降低80%，使单张RTX 4090几小时完成原本需A100集群的任务。