Hierarchos: 一个2.32亿参数循环记忆增强助手模型的初步发现 [P]

Reddit r/singularity 论文
recurrent-memory assistant-model preliminary-findings hierarchos 232m

摘要

本文介绍了来自Hierarchos的初步发现，Hierarchos是一个2.32亿参数的循环记忆增强助手模型，探讨了其在记忆保留和辅助任务方面的能力。

暂无内容
查看原文

相似文章

多头循环记忆代理

arXiv cs.LG

本文指出记忆保留是长上下文场景下循环记忆代理的瓶颈，并提出多头循环记忆（MHM），这是一种无需训练的框架，通过“先选择后更新”策略将记忆划分为独立的头。轻量级实例化版本 MHM-LRU 显著提升了 100K 至 1M token 范围内的记忆保留率和端到端准确率，在 896K token 的 RULER-HQA 上，将记忆保留率从低于 30% 提升至 73.96%。

ProPerAgent：迈向记忆驱动的主动式助手

arXiv cs.CL

ProPerAgent：提出 ProPerMem——一个将第一人称视角视频与长达一年的用户记忆相结合、用于记忆驱动主动式助手评估的基准；以及 ProPerAgent——一种基于图结构组织记忆的框架，通过强化学习后训练将严格准确率从不足10%提升至42.4%，表明内容与时机对于主动式AI助手而言均不可或缺。