@AdinaYakup: Memtensor Research Group 发布 Metis 记忆基础模型,可能是首个将记忆内化到…的 LLM
摘要
Memtensor Research Group 发布了 Metis,这是一个 LLM 系列(4B/9B/27B),将记忆内化到骨干网络中,从而无需外部 RAG。该模型在单次前向传播中完成记忆读写,并以冻结权重的方式部署,如同标准 LLM。
Metis 记忆基础模型由 Memtensor Research Group 发布
可能是首个将记忆内化到其骨干网络中的 LLM
- 4B/9B/27B 权重 + 代码 + 论文
- 无需外部 RAG:记忆在模型内部
- 一次前向传播 = 完整读写
- 推理时权重冻结:像标准 LLM 一样部署
查看缓存全文
缓存时间: 2026/07/31 18:53
Metis 记忆基础模型由 Memtensor 研究团队发布
可能是首个将记忆内化到主干网络中的 LLM
- 4B/9B/27B 权重 + 代码 + 论文
- 无外部 RAG:记忆内置于模型中
- 一次前向传播 = 完整读/写
- 推理时权重冻结:部署方式与标准 LLM 一致
相似文章
Metis:记忆基础模型
该论文介绍了记忆基础模型,其首个原型Metis通过全新架构和训练数据,赋予基础模型原生记忆能力。
@dair_ai: // 记忆即模型 // 该论文为任何LLM增加一个单独训练的记忆模型,用于存储、检索和整合…
MeMo 引入了一种模块化记忆模型,可为任何 LLM 增强存储、检索和整合新知识的能力,无需重新训练或担心灾难性遗忘。它在 BrowseComp-Plus、NarrativeQA 和 MuSiQue 等基准测试上优于基于 RAG 的方法。
SimpleMem: 面向大语言模型智能体的高效终身记忆
介绍SimpleMem,一种面向LLM智能体的高效记忆框架,利用语义无损压缩提升准确率并降低token消耗,F1分数提升26.4%,推理时token使用量减少高达30倍。
理解在早期完成:大型语言模型中的深度分工及其用于无界上下文记忆
本文介绍了CoMem,一种利用LLM中深度方向分工的方法,它缓存中间残差张量,并且仅重新计算上层以进行检索,从而实现有界的读取计算和内存,与存储的上下文长度无关。在Qwen3-8B上评估,CoMem在长上下文任务上取得了强劲性能,同时显著节省内存并加速预填充。
MemDefrag:大型语言模型的潜在记忆碎片整理
提出MemDefrag,一个无需训练的框架,利用中间层追踪信号对大型语言模型中的潜在记忆进行碎片整理,在知识保留方面显著优于MemoryLLM和M+等现有方法。