标签
Cloudflare通过优化其基于Pingora的负载均衡服务的内存使用，改进了Rust中的pingora-ketama一致性哈希库，从而在全球范围内回收了超过100TB的RAM。
Memorable引入了一种使用嵌入代替令牌来优化AI代理记忆的方法，使得程序性记忆能够跨多个运行持续存在。
Edge0是一个流式MoE推理引擎，它使用训练路由预测从SSD服务35B混合专家模型，在消费级硬件上实现接近fp16的性能，且内存使用率低。
本文介绍了管理长上下文长度下训练大型混合专家模型内存峰值的技术，包括Pipelined LLEP、Ring-DTP、SCO和OffloadStreamAdamW，这些技术实现了固定的GPU工作集，并将吞吐量提高了多达10.4倍。
BeaconKV 是一种无需训练的方法，它使用信标查询来压缩键值缓存，以实现大型推理模型的高效推理，从而减少内存使用并提高吞吐量，且不牺牲准确性。
HeadWiseKV 是一个无需训练的框架，用于压缩混合长上下文语言模型中的KV缓存，在保持质量的同时减少GPU内存使用并扩展上下文长度。
本文提出了一种名为Random Attention的KV缓存驱逐方法，它使用随机选择而非评分，匹配选择性方法的同时提高推理任务中的吞吐量。
一段视频，解释了Superlogical服务器中使用的内存优化技术，包括内存压缩、动态线程管理和快速二进制快照。
slotstream 是一个开源工具，它通过从SSD流式传输模型权重，使得在内存有限的Mac上运行像Qwen3.8-Flash-Next这样的大型AI模型成为可能，在48GB Mac上实现了大约12 tokens每秒的速度。
FlashAccel是一个协同设计的系统，它将高带宽闪存集成到GPU中以增强LLM推理，通过减轻访问延迟和优化带宽利用来提高吞吐量和能效。
Qwen3.8 Flash-Next的一个新检查点能将n-gram查找表卸载至SSD，在保持SGLang推理速度的同时，减少48 GB的内存使用。
Zod 4.5 实现了方法记忆化，以大幅减少内存占用，相比之前的版本，堆内存保留量减少了高达9.8倍。
带有sink的滑动窗口注意力在长上下文任务上优于经过后训练的线性注意力，无需重新训练，为LLMs提供更便宜、更可靠的推理解决方案。
Cloudflare优化了其1.1.1.1 DNS缓存，将内存使用量减少超过50%，节省了100TB内存，并通过优化的Rust数据结构提升了性能。
本文分析了稀疏注意力模型中的KV-Cache淘汰策略，表明选择最大权重近乎最优，且已发表的差距源于内存和查询信息，其中ContourKV取得了强劲性能。
Mitchell Hashimoto 宣布在即将推出的 Ghostty 终端模拟器 1.4 版本中，内存使用大幅改善，非可见窗口的内存占用最多可减少 450 倍。
本文提出了一种特征主码本布局，用于内存高效的稀疏二进制自组织映射，使得在单个GPU上训练多达105万神经元的大规模映射成为可能，并在MEDLINE数据上实现了显著的加速。
用户感觉Codex悄然更新，大幅优化了会话加载速度和内存占用，提升了长时间开发项目的流畅度。
这篇博客文章详细介绍了优化C++ Markdown解析器内存使用的技术，通过arena分配和指针压缩，将AST节点大小从232字节显著减少到16字节，同时保持解析速度。
Unsloth Desktop是一个免费开源的桌面应用程序，通过极致优化显存和速度，将训练、推理和Agent工具链集成在一起，显著提升了Qwen3.8 27B等AI模型的使用体验。