介绍 Engram：在您的上下文中扩展计算

我们是 Engram。我们正在构建能向您学习并深刻理解您工作的 AI。

今天的 AI 模型并不真正理解您的工作。模型所知的一切都源于它们的训练数据——而这些数据大多来自公共互联网。它们了解热门的 GitHub 仓库和人们在网上文章里写的东西。

但您每天花时间思考的内容，远比这些丰富得多。

您知道优秀的工作是什么样子。您知道某个具体项目的发展方向，以及您希望它一年后达到什么位置。从细微之处的细节，到生活与工作如何融为一体的全局图景——您掌握着这些知识，远远超出任何聊天窗口的范畴。而当您真正写下东西时，重要的想法又散落在各种文档和文件中。当您使用模型时，它必须先反复阅读公司里的许多文档，才能着手工作。

然而，我们都清楚，这种范式并不完美：随着我们的上下文不断增长，模型会变得越发昂贵和混乱。单个用户生成的数据量早已超过了模型能处理的范围。而且，读取是肤浅且短暂的；即使模型看到了您的上下文，一旦您关闭聊天，它便会忘记一切。目前，模型不会从这些数据中学习。这意味着它们无法在使用它们的任务上自动变得更好。

我们希望通过构建能从您的上下文中学习的模型来改变这一现状。

我们的路线与其他实验室截然不同。我们不是将大量训练算力花在公共数据上，而是从强大的预训练模型出发，将训练算力投入到您关心的上下文中。每个模型要花费相当于数百年的时间来研究您的上下文：拼凑信息，发现从未被发现的联系，找出那些被忽视的错误。

通过内部使用以及我们与 Notion 的设计合作，我们已经在训练展现出全新、有趣行为的模型。它们从我们的 GitHub、Slack 和 Notion 中了解我们和我们的工作。它们知道我们是谁、我们在做什么以及为什么这么做。它们能发现意想不到的联系，并记住我们遗忘的事情。对于许多任务，我们的模型无需重新收集上下文，因此 Token 效率可以提升 10 倍甚至 100 倍。它们知道的，正是您期望最优秀的队友所知道的东西。

我们的北极星是一个统一的训练算法，能够吸收任意数量的数据，使模型持续变得更好。目前，我们每天都在对公司全部数据运行这一过程，但正在向每小时、最终每分钟重新训练的目标迈进。如果您对此感兴趣，我们正在招聘！

尽管围绕持续学习、记忆和“向您学习“的讨论很热烈，但构建一个真正有效（大规模、多轮更新）的系统仍然是一个开放性问题。我们知道这些问题很难，因为我们已为此研究多年。我们团队的成员从各个角度解决过这个问题：上下文压缩、检索、LoRA、合成数据、长上下文和记忆架构。我们研究过人类和机器中的记忆与遗忘。

我们的发现让我们确信，我们已经找到了一个新的可扩展维度。通过扩展算力来研究和内化数据，为构建理解您和您工作的模型提供了一条可行的路径。

我们的首个产品是一个为代理提供的 API，这些代理能在极大型共享知识工作区中学习。我们很荣幸能与一些拥有最丰富上下文并且最早采用 AI 的早期合作伙伴合作：

• 与 @NotionHQ 合作，我们正在构建能够理解大型 Notion 工作区的自定义代理。
• 与 @harvey 合作，我们正在开发能内化整个公司知识、并在众多客户事务中搜索和发现先例的模型。
• 与 @Microsoft 合作，我们正在 M365 中试点 Engram 模型，为其企业客户提供高性价比的定制化代理。

为了实现这一愿景，我们从 @generalcatalyst、@kleinerperkins、@sequoia、Factory、Modern、@AmplifyPartners、@neo、@svangel 等机构筹集了 9800 万美元。我们的投资者和顾问包括 Assaf Rappaport (@assaf_rappaport)、Andrej Karpathy (@karpathy) 和 Pieter Abbeel (@pabbeel)。

与未来模型的交互将完全不同。它们每天都将在不断变化的世界背景下生成数万亿个上下文 Token。每一天，您都会教模型一些东西——而它真的能学会。您的模型。