memory-hierarchy

一种安全研究工具，利用 AMD CPU 上的 DRAM 地址加扰来解锁隐藏的平台功能（如 PSP、SMM、C6 和微码），展示了深度的硬件级攻击。

一位开发者详细介绍了将Go文件搜索从0.75 GB/s优化到49 GB/s的过程，利用SIMD等技术并理解内存层次结构，包括Go 1.26新推出的`simd/archsimd`包。

SeKV是一种分辨率自适应的KV缓存方法，它将上下文组织成基于熵引导的语义片段，并存储在GPU-CPU层级结构中，从而在解码过程中实现选择性Token级重建，同时在128K上下文下相比全缓存减少53.3%的GPU内存占用。

MegaTrain 通过将 VRAM 视为瞬时无状态缓存，反转内存层次结构，在单张 GPU 上实现了 100B 以上大语言模型的全精度训练。

OPD-Evolver 提出了一种自我进化智能体框架，采用慢-快协同进化与在线策略自蒸馏，以增强记忆管理和策略学习，在多个领域基准测试中优于 ReasoningBank 和 Skill0 等现有方法。

作者描述了一种模式，其中工作代理不直接写入共享内存，而是发出结构化内存事件，由内存策展人进行验证、去重并路由到适当的作用域，旨在防止多代理系统中的内存污染。他们将此方法与现有框架进行了比较，并征求社区反馈。

文章讨论了KV缓存如何演变为LLM推理的内存层级结构，优化解码过程中的内存管理。

TTKV借鉴人类记忆机制，提出时间分层KV缓存，在128K上下文LLM推理中降低76%延迟、吞吐量翻倍，跨层流量减少5.94倍。