小型子代理用于上下文工程

Reddit r/AI_Agents 新闻

摘要

作者建议使用小型、快速的AI子代理进行上下文工程,以提高AI系统的效率并降低成本,质疑为何这种方法未被广泛采用,并寻求社区反馈。

为什么我们不使用小型(比如3B甚至更小)的模型进行上下文工程?有关于AI代理浪费令牌和上下文窗口进行低效文件搜索,或需要整个向量数据库基础设施用于RAG系统的讨论。在我看来,这似乎是一个完美的用例,使用一个小型、快速的本地子代理来搜索文件库并提取最重要的数据,然后交还给主代理,这样主代理就知道哪些文件是重要的以及在哪里需要编辑。如果较小的代理失败,仍然可以回退到常规工具。如果能将此类任务委托给较小、更便宜或本地模型,可以节省大量资金。但我真的没有找到任何证据表明这种方法被广泛使用。我是不是漏掉了什么?有没有充分的理由说明这实际上不是一个好主意?或者人们正在使用这样的系统,而我只是没有找到任何信息?你们对此有什么想法?请让我知道,如果你曾从事过类似的工作,以及它是否成功。
查看原文

相似文章

AI智能体的有效上下文工程

Anthropic Engineering

Anthropic发布指南,将上下文工程定义为提示工程的演进,侧重于为AI智能体筛选最优上下文token,以在多轮推理过程中保持性能和专注度。

AI代理的未来可能不在于更大的上下文窗口

Reddit r/AI_Agents

这篇文章认为,AI代理架构应从持有全部上下文的单体代理转向一种路由模型,即代理将任务委托给专业化服务,类似于软件从单体架构演进到微服务的方式。