如何为你的AI代理进行版本控制和回滚?git让我失望,我感觉自己遗漏了什么。
摘要
一位开发者分享了使用git进行AI代理版本控制和回滚的困境,强调了提示词编辑导致的静默行为变化以及缺乏回归信号的问题。他们向社区寻求更好的工作流程。
我还在很初级的阶段,觉得自己可能做错了。我们把代理(提示词、工具、配置)像普通代码一样放在git里,但它总是给我们带来麻烦:
* 一个微小的提示词编辑无声地改变了代理的行为;diff看起来完全无害,我们直到它影响到用户才发现。
* 当某些东西退化时,我可以回退提交,但我无法判断是哪个更改导致的。没有类似测试给你的“这个版本得分更差”的信号。
* 相同的提示词在模型或工具变化时表现不同,而git无法捕捉到这一点。
所以,我可能遗漏了实际的工作流程。对于在生产环境中运行代理的人:你们如何跟踪版本、比较行为并安全回滚?工具、技巧、电子表格——什么才是真正有效的?
相似文章
版本控制如何为智能体浪潮进化
本文探讨了 Git 和版本控制系统如何适应人工智能智能体成为主要代码生产者的趋势,主张将会话日志与代码一起存储,并转向去中心化托管,以实现可扩展、有弹性的协作。
所以... 我们团队里没人能告诉我哪个版本的智能体实际上在生产环境中运行!
一个团队在生产环境中遇到AI智能体的版本跟踪和监控故障,导致未经审查的更改和行为漂移。作者讨论了像管理传统软件一样管理智能体部署的工具和实践。
我们把AI当作魔术而不是软件对待,这让AI智能体变得难以维护。
文章认为,当前的AI智能体框架将智能体视为黑箱,导致其难以维护,并提出了一种基于Git的原生架构(Lyzr GitAgent、OpenGAP),在该架构中,智能体逻辑以平面文件的形式进行版本控制,并通过拉取请求实现回滚和可审计性。
大家如何在CI中处理代理回归测试而不抓狂?
作者讨论了在CI/CD中由于LLM的非确定性,AI代理工具调用自动化回归测试面临的挑战,并寻求社区关于有效设置和痛点的见解。
Show HN:面向AI代理的Git
re_gent 是一个开源的版本控制系统,专为AI代理活动设计,记录每一次工具调用及其相关提示,使开发者能够审查和回滚代理的变更。