单个人工智能排行榜得分可能隐藏了正在改变的部分：评估工具

当只测试模型时，模型排行榜易于阅读。代理基准则更混乱：技能、工具、权限、数据访问和评估窗口都可能改变被评分的行为。Questflow使这个问题异常明显。它是一个智能财务评估工具，具有公开的实时基准，将裸模型代理和配备评估工具的前沿模型代理置于相同的资本和链上信号下进行比较。附带的历史快照还总结了七个维度的行为，使用实心形状表示模型加评估工具，虚线轮廓表示裸模型参赛者。这比单个排名更具信息量，但仍有两点需要说明。首先，裸模型/评估工具对并不自动构成受控消融。如果技能包、工具访问、权限范围或市场窗口不同，图表无法告诉我们哪个变量导致了差距。其次，诸如纪律、校准或一致性等标签描述的是评估设计。它们不是模型的永久个性特征。对于代理排行榜，最低有用报告应包括模型版本、评估工具或技能包、工具和数据、权限边界、环境和时间窗口、重复次数，以及可观察的推理或行动记录。这样，得分描述的是经过测试的系统，而不是悄悄借用模型名称。Questflow的有趣开放性问题是，当除了技能层之外的所有内容都保持不变时，其裸模型与配备评估工具的差异是否重复。在r/questflow中已经有一个早期的讨论线程在辩论这个具体选择：在一次观察后改变模型，还是先重复运行？这比“哪个模型今天赢了？”是个好得多的问题。