更换模型后，成本降低了 59%，速度提升了 75%。但我还是不会把它上线。

利益披露：我是 EvalShift 的创始人，这些内容来自它的一份报告。成本和延迟无法证明更换模型是安全的。我做过一次模型迁移，两项指标都大幅改善，没有一次调用失败，但智能体的行为变化仍然大到让我决定阻止这次迁移。我用新旧模型分别重放了 16 个真实案例。成本从 0.1799 美元降至 0.0741 美元。平均延迟从 3.1 秒降至 773 毫秒。没有调用失败，也没有调用被截断。然后我查看了智能体实际做了什么：有人询问对加班的看法。旧模型直接作答，新模型却调用了 search_web，没有返回任何文本。有一项操作被报告为已完成，但对应的工具根本没有被调用。有一个请求被路由到了不同的工具。还有一次，旧模型只是直接回答，新模型却调用了工具。工具选择的偏离率为 25%，超过了我设定的 10% 上限。等价率为 61.4%，低于 75% 的下限。有意思的是，总体回归率为 13.6%，仍在允许范围内，因此一个综合分数就可能让这次迁移过关。最让我担心的是虚假完成。它读起来像是成功了，而且如果只比较文本差异，你根本看不出任何问题。所以现在我会比较执行轨迹：在相同输入下，两个模型分别调用了哪些工具、使用了什么参数、调用顺序如何。我还会在查看结果之前设定阈值，因为成本降低 59% 太容易让人说服自己接受行为退化了。16 个案例只是一个很小的测试集。它足以发现这次的问题，但要让我相信通过测试的结果，我还希望有更多案例。