什么应管控自我改进的AI代理循环？

我运行的生产系统包含三个循环：一个执行工作的运行时循环、一个提出改进建议的评审层以及一个将已接受的变更持续传递下去的持久层。这三者共同实现了变异、选择、持续和迭代。令人不安的是，这三个循环都在问如何改进，却没有一个询问当一项改进虽然提升了分数却偏离了真实目标时是否应该保留。我开始将缺失的这个治理层视为第四个循环。我反复考虑的实际控制措施包括：定期对看似良好的案例进行人工审核、设置一个系统无法对其优化的保留基准、以及轮换评估者以避免同一模型家族总是自我评判。我并未完美解决这个问题；写这篇文章是为了明确揭示这一缺口。人们运行代理系统时，如何判断一项可衡量的改进实际上是目标漂移？完整文章及来源见第一条评论。