客户的代理上下文分布在9个以上的工具中,存在数千个冲突,是否有办法以非手动工作流程处理这种情况?

Reddit r/AI_Agents 新闻

摘要

一位开发者描述了在业务上下文分散于多个工具且定义冲突的环境中部署AI代理的挑战,并向社区寻求超越手动协调的解决方案。

为一家外部客户运行ContextOS项目时,遇到了现有手册无法解决的瓶颈。代理在孤立环境中运行良好——干净的提示词、正确的内联上下文,它就能正常运作。但将其放入实际环境,让它自行拉取上下文时,就彻底崩溃了。原因不在模型本身,而在于上下文碎片化地分布在太多地方,且大多数地方的定义相互矛盾。我坐下来梳理了一个单一业务概念(“活跃客户”)在他们技术栈中的实际位置: 1. 产品分析工具(一种定义) 2. CRM(另一种定义) 3. 财务部的电子表格(第三种定义) 4. dbt模型(第四种) 5. 2024年的Confluence文档(已过时) 6. PM在Slack线程中“澄清”的内容 7. 数据目录(基本为空) 8. 两个相互矛盾的BI仪表盘 9. 当以上信息均未呈现时,LLM会自行编造的定义 九个来源,四种相互矛盾的定义。代理会根据哪个工具先连接上来而随机选择其中一个。而“活跃客户”只是其中一个概念。同样的模式也出现在收入、流失率、账户、区域等概念上。 通常在使用DataGOL时,我们会与客户逐一解决这些冲突——协调定义、锁定到语义层、继续推进。这在几十到几百个问题的规模下是可行的。但这个客户有数千个问题。我们逐一的处理流程需要一年时间,而在完成之前,定义可能又会产生偏移。 对于在如此碎片化的环境中部署代理的同行们: * 你们是在语义层进行批量协调,还是让代理在运行时通过置信分数来解决冲突? * 有没有人使用LLM跨系统提出定义映射,然后由人类批量审批,而不是从零开始逐个定义? * 在什么情况下你会告诉客户,代理项目需要暂停,直到上游数据合约问题得到修复? 我经常看到这里有人讨论提示词技巧、模型切换、框架比较。但生产环境代理的真正瓶颈似乎都在这些之上。我感觉以前见过有人讨论过这个问题以及他们是如何处理的。
查看原文

相似文章

当底层业务流程存在问题,如何在生产工作流中扩展AI代理?

Reddit r/AI_Agents

一位实践者分享了在生产环境中扩展多智能体AI系统所面临的挑战,包括处理影子工作流(未记录的Slack线程和电子表格)、跨系统(ERP到CRM)的上下文丢失,以及跨部门所有权问题。他们向经历过这些现实问题的人寻求建议。

Agent Context

Product Hunt

Agent Context 是一款开发者工具,可让用户将参考项目附加到 AI 编程助手。