Claude，请别再试图记住乱七八糟的东西了

# Agentics：记住会话记录毫无用处 来源：https://12gramsofcarbon.com/p/agentics-memorizing-session-transcripts [](https://substackcdn.com/image/fetch/$s_!p8M5!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F75caf207-0302-42e3-beba-2da2967864f8_1080x543.png)31 个点赞看起来不多，但这已经是 Substack 笔记上的所有人了 我们发现，当智能体能够搜索到之前的会话记录时，在 SWE 任务上的性能提升为零——前提是智能体已经能访问其他形式的上下文。我们也发现，自动检索会话记录来改进智能体上下文，效果并不显著，除非有人类参与其中。 这让我们相当惊讶。 直觉上，智能体与工程师之间的记录中似乎蕴含着大量有价值的信息，比如代码为何如此存在、用户意图，或者用户尝试过又放弃的其他方法。至少，它应该提供了额外的上下文，帮助智能体加深理解。我曾对此深信不疑，以至于我的公司围绕这个概念构建了整款产品。我经常告诉别人，“会话记录就是新的石油”，它们甚至比代码本身更有价值。 显然，其他人也有类似想法，市场上有大量会话记忆工具，当然也包括 Claude Code 本身。 最常见的架构大概是这样的： - 将组织中所有会话记录存入数据库 - 在其上添加向量搜索、弹性搜索或 SQL 搜索层。有雄心的团队会三种全用。可能还会涉及图。 - 通过 MCP 或暴露带技能的 CLI 让智能体能访问这些数据。 对我们来说，这些额外工作并没有带来丝毫差别。甚至，基于我们数月的测试（分别测试了有无会话搜索的情况），它可能让模型表现更差。 为什么会这样？ 我们的团队非常关注编码工件。我们已经不再手动写代码了。为了让 Pull Request 更易读，我们强调良好的提交信息、良好的 PR 信息和全面的文档。每次代码变更都附带大量元数据，与代码一起提交。当智能体处理代码时，我们会指示它先去查看文档和之前的 PR。 换句话说，智能体已经在提炼记录中所有有价值的信息，并将其存储到需要且易于访问的地方。因此，当智能体使用会话记录搜索服务器时，它只是在耗费 token 阅读它已经知道的内容，同时还捡起了智能体当初决定**不**写下来的那些东西。也许偶尔能找到一些有用的信息片段，但大多数时候，智能体只是在看一个毫无意义的草稿，浪费宝贵的 token。 此外，智能体极不擅长删除上下文，而这正是维持长期记忆的关键能力。我的意思是，在数千次的会话中，我从未见过智能体主动做过一次删除。 这并非通过巧妙的提示工程就能消除的特性。智能体没有状态，所以它们必须假设输入上下文窗口中的所有内容都是真实无误的。每一行代码、每一条已有的记忆、每一个 token 都被视为**意图**的表达——即使那段代码或记忆是由某个之前的智能体会话做出的随机决策产生的，从未经过人类审查甚至理解。这种**意图漂移**会随着智能体试图自主建立记忆库而不断加剧。 据我所知，目前**没有任何**编码基准测试假设输入数据是损坏的。事实上，模型会因为假设输入数据有误而受到惩罚。这在一定程度上也是一个对齐问题——我们不希望智能体做出计划之外的事，而且很难在“不要删除代码库”和“删除部分输入上下文”之间找到平衡。 由于模型无法真正打理自己的记忆，自动记忆最终都会通向同一个结果：一堆垃圾消耗 token，账单膨胀，模型质量下降。 总而言之，我对那些索引、存储并向智能体提供会话记录的工具变得非常悲观。会话记录可能对团队的可观测性有用，但它不会让你的智能体变得更好。 这并不意味着智能体在随时间学习上下文方面毫无作用。我们使用内部 nori 机器人每周审查公司中发生的所有事情，包括 PR、Slack、Drive 等。然后它们会提出一系列对我们内置 nori 技能集的修改建议，并在 Slack 中@团队。这些修改默认都是被拒绝的。要接受一个修改，你必须实际查看 diff，确保它符合意图。 我们接受的修改不到 20%。这意味着 80% 的“自动”更新反而会让模型变得更差。我无法想象在一个几百人的组织中，如果每个人都自动保存这些“更新”会多么不可持续。 *Agentics 是一门研究如何使用和推理智能体的学科。如果你是编码智能体方面的专家，或者有兴趣了解更多智能体相关知识，欢迎加入我们的社区 Slack（https://join.slack.com/t/nori-7sp2119/shared_invite/zt-3nvw8xlw2-hxppg~NXeawHVvopmbMCFw）。更多文章请点击这里（https://12gramsofcarbon.com/t/agentics）。了解更多关于 Nori 的信息请访问 noriagentic.com（https://noriagentic.com/）。* #### 对该文章的讨论 ### 想要更多内容？