标签
本文指出记忆保留是长上下文场景下循环记忆代理的瓶颈，并提出多头循环记忆（MHM），这是一种无需训练的框架，通过“先选择后更新”策略将记忆划分为独立的头。轻量级实例化版本 MHM-LRU 显著提升了 100K 至 1M token 范围内的记忆保留率和端到端准确率，在 896K token 的 RULER-HQA 上，将记忆保留率从低于 30% 提升至 73.96%。
本文介绍了来自Hierarchos的初步发现，Hierarchos是一个2.32亿参数的循环记忆增强助手模型，探讨了其在记忆保留和辅助任务方面的能力。