如何判断何时可以让更便宜的模型接管智能体反复执行的任务？

你的智能体可能每天都在重复同样的几项任务，而每次调用都使用前沿模型。对于日常例行工作来说，这是一笔不小的开销。但如果你把某项任务迁移到更便宜的模型上，质量一旦下降，用户会最先察觉。声明：我正在开发 Operant，这是该领域的一个工具，因此我存在利益立场。我寻求的是对这套方法的批评，而不是客户。这里没有链接，如果你需要，我可以在评论中补充。以下是我们将任务迁移到更便宜模型之前遵循的规则： - 将历史对话按其执行的任务进行分组。 - 为每项任务留出一部分历史运行数据，这些数据从未用于更便宜模型的任何训练或学习。 - 将留出的这部分工作交给更便宜的模型执行，并将其回答与当前模型的回答进行评分对比。 - 由人工审核结果，批准切换。 - 一键即可将任务切回前沿模型。 在人工签字确认之前，任何任务都不会迁移，而且随时可以一键切回原始模型。 当前模型的回答是一个公平的参考标准吗，还是它掩盖了自身的错误？另外，在类似这样的切换之后，你遇到过哪些在历史数据测试中未能发现的故障？