AI代理的未来可能不在于更大的上下文窗口

所以，我一直在想，我们是否基于错误的假设来构建代理。大多数代理架构假设一个代理应该完成所有的思考。这个代理持有内存、上下文、推理、规划、工具定义、历史记录和领域专业知识。随着能力的增长，上下文也在增长。随着上下文的增长，成本增加，推理质量下降。如果代理不需要知道一切呢？如果代理的工作仅仅是路由工作给专家呢？想象每个专家作为一个可调用的服务，拥有自己的： • 模型 • 上下文窗口 • 知识 • 内存 • 执行环境 不是将专业知识加载到代理中，而是代理调用专业知识。代理成为一个路由器。专家负责思考。这感觉类似于软件从单体架构演进到微服务的方式。不确定这种模式是否会在生产代理系统中出现。但我相信，朝着专业化推理服务的网络发展似乎是正确的路径。