固定评估器仍可能成为代理循环的目标

Reddit r/artificial 论文
ai-agents evaluation research-preprint feedback-loops machine-learning

摘要

本文基于AQuA预印本，讨论了代理循环中的固定评估器如何仍可能被代理适应所针对，并对验证反馈的隔离性提出疑问。

在代理开始迭代之前固定评估器可以防止标准变动。但这并不能阻止代理过程适应它可以反复看到的反馈。AQuA预印本明确区分了这一点。其基础语言模型和评估器保持固定。验证后的观察被保留在特定部分的研究状态中，后续的提案则基于这些证据。在此循环中，验证反馈是可见的。一个单独的最终测试被保留到配置冻结后才进行；其结果不会返回给代理，也不会用于对候选方案进行排名。这创建了一个有用的最终检查，但隔离是程序性的而非密码学的，因此重复适应可见验证仍然是可能的。接下来我会考察的AQuA设计问题是，多少评估器特定的反馈应该进入持久状态。在这里，哪种防御最重要：限制该反馈、轮换可见评估，还是依赖冻结后的一个未触及的最终测试？
查看原文

相似文章

无评估可捕捉的智能体失败模式：使用缓存的过时事实

Reddit r/AI_Agents

讨论AI智能体可靠性中的一个盲点：缓存在获取时是真实的事实，但在使用时已经过时，导致一致但不正确的行为。提出将一致性（与源匹配）与时效性（源目前仍然真实）分开，并询问社区如何处理这个问题。