标签
作者认为，64GB 内存不再是本地大语言模型的“死区”——在 M4 Max 上运行 Qwen3.8 27B 进行智能体编程时，键值缓存和提示词缓存使 64GB 恰好成为最佳配置，打破了此前认为这一容量定位尴尬的共识。
LRMoE 是一种内存感知的 MoE 训练系统，可在内存受限的 GPU 节点上联合重新校准反向传播需求并均衡保留的工作负载。与 SYMI 相比，LRMoE 在 Qwen3-30B-A3B 和 GLM4.5-106B-A12B 上将 MoE 层的累计训练时间缩短了 21.2-44.8%。
这篇文章对 Go 1.28 新增的 HTTP/2“停驻”（parking）机制进行了基准测试。该机制允许处理连接的 goroutine 在空闲时退出，并在需要时重新创建。测试显示，在 5,000 个空闲连接的情况下，与禁用停驻机制的同一二进制程序相比，RSS 内存占用减少了 84.7–92.6 MiB（约 39–41%）。
一篇详细的文章，展示了如何对 NixOS 26.05 进行调优，使其空闲时仅占用 96MB 内存，并能在 512MB 内存下完成完整重建，方法包括使用内核命令行参数、屏蔽模块以及禁用未使用的硬件支持，适用于 KVM 虚拟机场景。
MemSteer 由北京大学与微软亚洲研究院合作开发，能够将用户历史自动转化为针对智能体记忆的监督测试，MemSteer-Opt 则利用这些证据优化存储、检索与呈现方式，无需人工标注数据或微调，在 ATM-Bench 与 RHELM 上超越了 BM25 基线。
一位开发者分享了 ApexW，这是一款实验性的 PyTorch 优化器，采用紧凑的优化器状态和基于 Triton 的执行路径，声称在大张量工作负载下，优化器步骤的执行速度约为原来的 1.5 倍，优化器状态内存占用减半——同时也坦言，在包含大量小张量的模型上会出现性能下降，且端到端性能提升微乎其微。
一篇 Corsix.org 博客文章探讨了如何通过用紧凑的偏移表替代指针表来减小枚举转字符串函数的二进制体积，并进一步利用线性近似压缩这些偏移量，再通过一个包含残差的小型查找表来修正近似误差。
PACE 是一种免微调的后训练四比特量化器，用于线性注意力的循环状态。它通过降低量化频率（每隔几个 token 才进行一次舍入）并采用按列共享的量化尺度来减少误差，从而在 4B–35B 参数的混合模型上，以约三分之二的内存达到与八比特 DAMP 相当的性能。
斯坦福 CS336（2026 春）第 6 讲的笔记，讲解如何通过减少 GPU 内存往返来优化内核：对比 softmax 多次遍历与融合行内核的内存流量，介绍 Triton 的块级编程模型，并强调先用 CUDA event 测量基线、再做内核融合与分块优化。
文章介绍了一种面向 PyTorch 的新型激活显存预算求解器 dp_knapsack_sliding_hirschberg，在内存规划期间可将峰值 RAM 使用量相比默认的 dp_knapsack 求解器降低多达 20 倍，并解释了如何利用 0/1 背包动态规划来决定哪些操作的结果需要保存、哪些需要重新计算。
PR #29887 在 llama.cpp 中为驻留在主机内存中的 MoE 专家添加了 GPU 缓存，从而在专家权重溢出到 CPU 内存时提升性能。
Alex Alejandre 探索为 Linux x32 ABI 编译 Janet 语言，以获得 32 位指针和 64 位速度；他报告称在 Arch 上内存节省高达约 20-25%，但该工作负载运行速度却慢了 50%——这表明 x32 对指针密集型程序具有巨大潜力，但目前缺乏打包和生态系统的支持。
WakeKV 是一种响应式、可逆的 KV-cache 驻留策略，能动态将「冷却中」的注意力头降级到可恢复的 CPU 缓存池中；在长上下文服务场景下，其表现优于基于冻结分类和破坏性驱逐的基线方法（SnapKV、R-KV、ReasonAlloc）。基于 FlexiCache/vLLM 的实现已在 Mistral-7B 上验证了吞吐量提升。
Hugging Face Diffusers 上张量并行（tensor parallel）加载迎来重大优化：在 Flux.2-Dev DiT、TP=4（A10G）配置下，加载时间从 30.4s 降至 12.5s（约 2.4 倍提速），每 rank 峰值 CPU 内存从 64.1 GB 降至 6.8 GB（减少约 89%）。相关分布式推理（Accelerate 与 PyTorch Distributed）用法已更新到官方文档。
PReCache 是一个无需训练的 KV 缓存共享框架，它使用低秩预计算和中性重建来减少多 LoRA 代理系统中的内存和计算冗余，从而实现加速并保持准确性。
WonderBox 是一款原生 macOS 系统工具箱，提供系统监控、内存优化、缓存清理及其他实用工具，帮助用户高效管理他们的 Mac。
一位用户分享了他们切换到 QWEN3.6-27B-MLX-8bit 模型用于本地AI任务的经验，发现它在 Mac Studio 上节省了大量内存，同时表现与更大模型相当，提高了工作流程的稳定性。
本文介绍了限制大规模MoE训练中四个关键内存峰值的方法，使得在1M上下文长度下使用固定GPU内存进行训练成为可能，并且相比基线，吞吐量提升高达10.4倍。
本文介绍了PAGE，一种分区感知的门控KV-Cache淘汰方法，它使用标量度量预测输入类别，仅在安全时应用淘汰，从而减少大语言模型中的精度损失。
TierKV提出一种预测性多层KV缓存框架，用于优化长上下文大型语言模型在移动设备上的内存使用和吞吐量，在最小精度损失下实现显著的性能提升。