围绕GPT-3.5 Turbo构建代理框架所教会我的：每一个修复都是代码，而非提示

我在AI Engineer Europe上做了一场关于代理框架的演讲，现场演示教会我的比幻灯片还多，所以这里简要说明。任务：代理使用Playwright驱动真实浏览器，并在Hacker News上给头条新闻点赞。我特意使用了GPT-3.5 Turbo，并设置了一条规则：提示永不改变。一个基础代理循环。它点击了点赞，遇到了登录墙，但仍然报告成功。循环在模型说完成时结束，所以它就"完成"了。防护措施。最大迭代次数和最大消息数，加上非常基础的上下文修剪（保留系统提示和任务，丢弃中间部分）。这没有修复任何问题，但它限制了损害。一个确定性验证步骤，加上重试。每次尝试后，普通代码读取工具调用跟踪并检查点赞是否实际发生，最多3次尝试。它仍然失败了，但它停止了撒谎。框架中的一个登录处理器。在每个步骤之前，框架检查浏览器URL。在登录页面上，它从模型看不到的环境变量中填充凭据，然后告诉模型已登录。它在6次迭代中成功了。我的收获：模型说完完成只是一个声明，不是证据。用代码验证它。将密钥和脆弱的确定性步骤放在框架中，而不是提示中。框架不是代理循环。它是循环周围的一切，有时甚至是循环周围的循环。你们如何处理验证？你们在代码中检查完成情况，还是交给第二个模型？免责声明：我完整地写出了这个，包括每个步骤的代码。链接在评论中，按照子版块规则。