Agent 运行越久,我就越不在意提示词
摘要
作者反思了长期运行的人工智能代理如何遭遇与初始提示无关的失败,并认为环境设计(工具、文档、验证、架构规则)更为重要。他们讨论了诸如 harness 工程、保持 AGENTS.md 文件精简、使用 linter 和评估器代理等概念,同时指出了成本权衡。
我曾经把大多数代理失败视为提示词的问题。现在我不太确定了。一旦代理运行了几个小时,失败就变得无趣多了:它读了一份旧的设计说明,从仓库中复制了一个糟糕的模式,认为自己的输出已经足够好,或者因为上下文窗口越来越拥挤而停止。更好的初始提示并不能真正解决这些问题。我读过一篇关于“harness 工程”的文章,这基本上是指代理周围的环境:工具、文档、验证、架构规则和停止条件。我第一次看到这个术语是在一篇 Milvus 的文章中,但让我印象深刻的根本不是向量搜索。我喜欢的一个细节是保持 AGENTS.md 文件小而精,把它当作地图使用,而不是把所有规则都塞进一个巨大的指令文件中。另一个细节是将重要规则转移到 linter 和运行时检查中,这样代理就不能轻易忘记它们。评估器代理这个想法我还在犹豫。在一个实验中,将规划器、生成器和评估器分开产生了一个可用的应用,而单独的代理产生的东西虽然能启动,但核心行为有缺陷。而且,成本大约增加了 20 倍。这是一个相当昂贵的默认设置。我目前的感受是:从严格的检查和真实的运行时证据开始,然后只为普通测试无法判断的事情添加一个单独的评估器。但也许这样仍然在循环中留下了过多的自我评估。对于在更长的任务中运行代理的各位来说,真正产生最大影响的因素是什么:更好的文档、更严格的架构、浏览器/日志访问,还是一个单独的评估器?
相似文章
编程代理的胜负不在于提示词,而在于运行时基础设施
随着编程代理能力增强,瓶颈从模型质量转向支持长时间运行的基础设施,包括持久状态、权限、检查点、可观测性和成本控制。作者认为,最好的代理产品更像是运行时和工作流系统,而非仅仅改进提示界面。
停止缩短你的提示词。六个智能体,97-99%的缓存命中率——以及为什么标准建议是错误的。
文章指出,通过提示缓存,较长且稳定的提示可能比频繁更改的短提示更便宜,分享了运行具有高缓存命中率的AI智能体的见解。
经过数月的智能体构建,我改变了关于什么最重要的看法。
作者反思了将AI智能体从原型推向生产环境的挑战,得出结论:可靠的编排和安全保护机制比模型的渐进改进更为关键。
我如何思考在整个提示层级中为AI智能体设计提示
作者分享了为AI智能体编写有效提示词的原则,强调聚焦真正重要的内容、高信号沟通、可操作的指令,以及使用成熟的措辞。
代理提示不是安全边界
讨论了使用代理提示作为安全边界的局限性,认为仅靠提示不足以确保AI行为安全。