engram

本文提供了 Engram 模型的更新，详细介绍了其 2.6b 参数架构，包括一个大型 Engram 表和初步训练进度达到 1 亿 token，展示了通过上下文感知数据卸载实现的改进补全效果。

作者提供了关于构建一个小型20亿参数AI模型的更新，该模型具有Engram组件，在1500万维基百科tokens上训练，达到了惊人的连贯性，并计划进行Apache 2.0开源发布。

文章表达了对未来AI模型的期望，这些模型采用KVCache和Engram等优化技术来减少内存使用，使得更大的模型能够在显存有限的消费级GPU上运行。

本文推测，注意力机制之后的下一个重大突破可能涉及具有输入依赖权重的AI架构，可能基于DeepSeek的Engram机制构建。

本文探讨了 Qwen 3.8 Next AI 模型中的 Engram 组件，详细描述其为一个具有高度偏斜访问模式的 510 亿参数 Zipfian 缓存，并评估了通过频率剪枝进行压缩的优化方法。

该论文提出一种通过目标侧reader适配实现跨模型记忆迁移的方法，使用Engram哈希记忆和轻量级reader，在问答任务中实现38.8分，并适用于Agent记忆的更新和审计。局限是仅测试到9B模型，缩放规律未知。

一位开发者讨论了使用 Engram 为 Hermes 代理构建自定义记忆插件，该插件将新信息与现有记忆进行协调，以避免过时和重复，并向 OpenClaw 社区询问他们记忆使用的情况。

提出了User as Engram方法，将每位用户的记忆存储为哈希键控记忆表中的稀疏局部参数化编辑，受海马体记忆印迹启发，与每位用户的LoRA相比，实现了更好的推理准确性和记忆效率。

提出一个几何框架来识别“AI engrams”——深度神经网络中的记忆痕迹——将神经科学标准形式化为一个闭式估计器，使得从MLP到LLM的模型能够进行精确的记忆操作。

Weaviate 推出 Engram，一种为AI代理提供全面管理的记忆服务，通过协商、去重和范围隔离来主动维护记忆，将记忆视为基础设施而非数据囤积。