智能体记忆将向量搜索转变为长期存在的系统问题

嗨，我是James — 我是Zilliz的首席技术官，Zilliz是Milvus背后的公司和构建者。Milvus是一个开源向量数据库，用于存储、索引和搜索嵌入向量，以实现对非结构化数据的语义搜索，而Vector Lakebase是围绕该服务路径的下一个湖原生扩展。这个故事的第一部分是向量搜索算法向生产基础设施的转变。大型科技公司内部的早期系统证明了语义相似性可以工作，但库和特定工作负载的内部工具并非设计为作为通用、长期存在的数据库运行。一旦向量检索进入真实产品，可扩展性、可靠性和日常操作就变得与搜索质量同等重要。RAG通过将检索作为模型响应的基础层加速了这一转变。智能体进一步推动了这一要求。它们的长期或近线记忆必须支持多步推理、上下文压缩以及跨不同数据类型的检索。灵活的语义空间让智能体决定检索和组合什么，但灵活性并不消除治理需求。精心策划不足的数据仍会产生糟糕的上下文，即使应用程序代码保持不变，更改嵌入模型或重排序器也可能改变行为。这就是为什么我认为智能体记忆是一种系统学科，而不是索引功能。检索层需要持续评估、明确的数据质量工作以及能够承受增长的运营保证。向量搜索可能设定候选空间，但该记忆的有用性受限于其周围的生命周期：什么进入、如何更新、质量如何度量以及何时重建旧表示。技术含义很简单：智能体记忆原型可以快速组装，但使其可靠需要任何关键数据库所期望的相同长期基础设施工作。