八个 AI 模型，同一项媒体购买任务，每个模型尝试 12 次：两个每次都完成了任务，两个一次也没完成。

那么，是什么让智能体能够可靠地完成多步骤任务？这些数字来自一项公开基准测试，其中 AI 智能体执行模拟的媒体采购。每个智能体都会收到一份需求说明和预算，与三个由固定软件规则控制的卖方协商，并且必须敲定一个符合需求说明的采购组合。买方测试框架提供需求说明，检查每一步操作并记录交易，因此接受测试的是模型与测试框架的组合，而不是模型本身。测试设置了 4 种情境（标准情境、预算更紧、广告库存更广、卖方态度更强硬），每个模型在每种情境下尝试三次。1）两个模型完成了 12 次尝试中的全部 12 次。2）一个模型完成了 12 次中的 10 次（可评估的 10 次全部完成）。3）两个模型完成了 12 次中的 9 次，一个模型完成了 12 次中的 3 次。4）两个模型在 12 次尝试中均未完成任何一次。总体而言，96 次尝试中有 55 次完成了采购。另有 5 次尝试因技术中断而无法评估，基准测试单独列出了这些情况。目前还没有人类基准，因此请将这些数字视为记录下来的结果，而非定论。坦诚说明：我在发布这项基准测试的公司工作。这项基准测试名为 Concourse Bench v1。想问问正在构建智能体的人：当同一项任务让模型之间出现如此悬殊的差距时，背后通常是什么原因？指令遵循、工具调用的可靠性、多步骤规划，还是其他因素？又有哪些做法真正帮助你们缩小了差距？