我们训练了一个把记忆保存在自身前向传播中的模型。

Reddit r/AI_Agents 模型
mixture-of-experts memory long-context coding open-weights large-language-model

摘要

团队发布了 MemT 2.0——一个 293B 的记忆原生 MoE 模型，将历史信息压缩为持久内部记忆状态，在前向传播中通过 memory attention 完成读写更新，无需梯度或重新训练，36B 与 293B 版本已上线 Hugging Face。

每个长编码任务都以同样的方式结束。项目约束、我们已经做出的决定、我们已经给出的修正，在会话结束时全部消失。长上下文和 RAG 有帮助，但那意味着重新提供这些信息，而不是保留它们。我们做了什么：MemT 2.0 是一个 293B 的记忆原生 MoE 模型。历史被压缩为一个持久的内部记忆状态，模型通过 memory attention 读取它，并在一次普通的前向传播中更新它——无需梯度，无需重新训练。记忆的写入、保留、更新和读取都发生在计算内部，而不是包在计算外面的框架里。我们测量了什么：在我们内部的 Coding 和 Working 测试套件上，与基线在相同的预算和相同的环境下进行对照：这是我们自己测试套件上的一次内部对比，并不承诺你的项目上也能获得同样的提升。我们目前还没有公开的排行榜数据。我们计划运行并很快公布原始轨迹。规格与可用性：我们完成了 36B 和 293B 的初始训练，已在 Hugging Face 上线。推理成本由你承担，取决于你的服务提供商。问题：什么会让你真正去尝试一个记忆原生模型？一个你已经信任的公开基准，一个你能在自己硬件上部署的规格，还是一个你能自己重跑的可复现实验？
查看原文

相似文章

tencent/Hy-Memory-30B-A3B · Hugging Face

Reddit r/LocalLLaMA

腾讯混元发布 Hy-Memory-30B-A3B，一个约 3B 激活参数的紧凑型长期记忆写入模型，可替换 Mem0、MemOS 和 Hy-Memory 等外部记忆框架中的通用大语言模型，采用记忆在线蒸馏（OPD）与归因记忆强化学习两阶段训练，在四个记忆框架的交叉评测中平均得分超越 Claude Opus 5。

@vintcessun: 一块能跨模型插拔的“知识硬盘”——难点不在搬记忆表，而在为目标模型配好读头。 https://arxiv.org/abs/2608.17050 论文先用源模型训练 Engram 哈希记忆，再冻结记忆与目标骨干，仅训练 reader 完成寻…

X AI KOLs Timeline

该论文提出一种通过目标侧reader适配实现跨模型记忆迁移的方法，使用Engram哈希记忆和轻量级reader，在问答任务中实现38.8分，并适用于Agent记忆的更新和审计。局限是仅测试到9B模型，缩放规律未知。