标签
介绍 rust-glancer，一个专注于低内存使用的 Rust 替代语言服务器协议实现，特色是重启后立即索引以及在老硬件上更好的性能。
WhiteMatter通过KV混合在Transformers中引入全对全跨层连接，在预训练实验中减少内存占用并提升性能，相比于标准架构。
Shoehorn是一款开发者工具，可将语言模型量化，以完美适配机器的可用内存，实现高达99.99%的内存使用效率，用于本地推理。
一个人训练了一个扩散模型，在只有264KB RAM的Shrike lite微控制器上生成32x32像素的图像，尝试了FPGA加速但遇到了内存瓶颈，导致输出有时是噪声但有时很有趣。
本文提出了注意力感知变换编码（AATC）用于压缩大语言模型中的KV缓存，通过注意力机制最小化失真，在约5.8倍压缩下实现了近乎无损的准确率。
本文讨论了 Nanbeige4.2-3B Looped Transformer 模型在 Apple Silicon 上的部署 bug，并引入了一种内存高效的分块预填充策略以支持 agentic 任务。
本文提出了一种针对移动设备能效DNN推理的内存与计算频率联合优化方法，与其他方法相比，能耗可降低高达10.4%。
This paper introduces Thought-Aware Attention Matching (TAM), a method for compressing KV caches during long chain-of-thought reasoning by segmenting reasoning traces, adaptively allocating compression budgets, and protecting pivotal tokens. Experiments on AIME 2024 and MATH-500 with Qwen3-4B show significant memory reduction while maintaining accuracy.
LazyTrain 是一个研究系统，通过将检查点选择、激活放置、重计算以及 CPU-GPU-NVMe 通信重叠建模为混合整数调度问题，优化有限硬件上的大语言模型训练，相比匹配基线实现了约 1.24 倍的 TFLOPS 提升。
CommitKV提出了一种面向多轮ReAct智能体的生命周期感知KV缓存压缩方法，通过提交转换区分休眠令牌与已完成令牌，以减少内存使用并加速推理。
作者为 Mference 添加了 Maple-Preview 支持。Mference 是一款通过从磁盘流式加载 MoE 专家来在低内存设备上运行大型模型的工具，作者在 Air M4 上实现了仅用 500MB 内存达到 40 tps 的速度。
重点介绍了一篇引入 ZeRO（零冗余优化器）的文章，这是一种内存优化系统，用于在有限的 GPU 内存上高效训练超大规模模型。
介绍 Iris Ai，一个在消费级硬件上将查询路由至8个专用LLM的系统，通过每次仅激活一个模型和动态模型交换，以低内存实现大模型性能。
AnchorKV is a new KV cache compression scheme that shrinks the cache by 20x without discarding any tokens, using anchor-residual representations to preserve 99% of full-cache accuracy at the 70B scale. The paper is a preprint under review.
讨论了如何在仅有 500MB 内存的设备上运行 Gemma 4，可能通过量化或其他优化技术实现。
关于在单张 RTX 5090 + 256GB DDR5 台式机上使用 vLLM 配合 CPU/内存卸载运行 DeepSeek-V4-Flash-0731 完整 100 万 token 上下文的技术报告，实现了约 800 tokens/秒的预填充速度和约 15 tokens/秒的解码速度。
演示了在 Mac 上仅用 4.3 GB 内存运行 80B Qwen 模型，以及在 iPhone 上运行 35B 模型，展示了本地 LLM 推理的极致内存优化。
PyTorch 2.13 发布版为 Apple Silicon 带来 FlexAttention，通过融合的 LinearCrossEntropyLoss 实现高达 12 倍加速，并将大词表模型的峰值内存降低 4 倍，同时还更新了分布式训练、编译和端侧推理。
在配备6GB RTX 4050的笔记本上测试1.56TB混合专家模型，需借助NVMe进行修补式内存流式传输，解码速度达到0.106 tokens/s。
Valkey使用如listpack和hashtable等不同的编码方式来处理其数据类型，以平衡内存和性能；了解这些内部结构可以显著节省内存。