Asana 在浏览器测试中借助 GPT-6.1 Sol 将模型成本降低 76 倍

# Asana 在浏览器测试中借助 GPT-6.1 Sol 将模型成本降低 76 倍 来源：https://openai.com/index/asana-browser-agent/ 借助在 Codex 中运行的 GPT-6 Astra 进行实验，Asana 优化了其浏览器智能体在 GPT-6.1 Sol 上的工作流，实现了成本降低 76 倍、速度提升 5 倍的效果。 Asana 帮助客户通过 StackAI（新窗口打开）(https://www.stackai.com/) 在各业务应用间实现工作自动化，该平台是 Asana 近期收购的（新窗口打开）(https://asana.com/press/releases/pr/asana-acquires-stackai-adding-cross-system-execution-for-human-agent-teams/e7c73b97-ae8c-4e51-b927-189ccb184146)。借助 StackAI，客户可以构建工作流来导航网站、填写表单并收集信息，无需编写代码。在 Asana 的业务规模下，这些工作流中的微小低效会不断累积。 Asana 的 StackAI 首席技术官 Frank Hidalgo 博士着手让浏览器智能体运行更快、成本更低。他指挥 Codex 中的 GPT-6 Astra 调查该智能体、测试改进方案并比较结果。据他估计，这项工作如果手工完成需要一到两个月，而借助 GPT-6 Astra 只用了大约一周。 Asana 的 144 轮实验（新窗口打开）(https://asana.com/inside-asana/cut-browsers-agent-cost)测试了 GPT-6.1 Sol 和另外三个前沿模型，以下称为模型 A、B 和 C。在 GPT-6.1 Sol 上优化后的工作流平均每次运行的模型成本约为 0.47 美元，耗时约四分钟，比模型 B 上的原始生产配置便宜 76 倍、快 5 倍。 > "这就是人类团队与智能体团队协作的实际场景。一位工程师设定方向，GPT-6 Astra 运行实验，结果通过 Command 进入生产环境。这展示了 Asana 如何让人类团队与智能体团队协同运作。" > > ——Asana 首席产品官 Arnab Bose ## 利用 GPT-6 Astra 识别浏览器智能体的低效之处 为了快速推进，Hidalgo 首先使用 Codex 中的 GPT-6 Astra 绘制代码库并解释智能体如何构建每个模型请求。GPT-6 Astra 发现，智能体会缓存其固定指令和工具定义，但不会缓存不断增长的页面文本和截图历史，因此每次请求都会以全价重新发送这些历史数据。 该智能体几乎在每一步都会丢弃较旧的截图并裁剪文本。每次编辑都会改变历史记录，因此仅缓存历史记录并不能解决问题，而丢失这些信息可能需要智能体重新访问已经读取过的页面。 ## 从估计两个月的研究到使用 GPT-6 Astra 仅需一周 Hidalgo 审阅了 GPT-6 Astra 提出的修复方案，并选择了三个进行测试： - 将缓存扩展到智能体的浏览历史 - 增加可保留的文本量 - 批量移除截图，而非在每一步都移除 GPT-6 Astra 首先进行了快速测试，确定哪些变量起关键作用。由于代码并非为受控实验设计，它随后重构了代码，使一个前端和后端能够并行支持多个工作流，每个工作流拥有各自的设置。 Astra 完成了整个研究：设置了 12 万和 48 万字符的历史预算，以及六种缓存和截图策略，每种策略在四个模型上各测试三次（见下表）。表现最佳的策略允许截图累积到 20 张后再削减至仅保留最新一张。这使得早期历史记录在更长的时间段内保持不变。结合更大的历史预算，就形成了优化后的工作流。每种配置执行相同的任务：从公开演示目录中收集 32 本书的六个字段，这一任务具有代表性，类似一些 Asana 客户在 StackAI 上运行的场景。 GPT-6 Astra 运行了各工作流，检查了请求、使用记录和输出，独立的模型会话对工作进行了复核。每个会话的请求、数据追踪和结果都记录在 Command（新窗口打开）(https://asana.com/product/command)——Asana 的软件交付平台中，以便团队在事后审阅完整研究。从 Command 出发，研究发现被转化为工单，再转为拉取请求，最终更改进入生产环境。 > "如果手工完成，这会花我一到两个月。使用 Codex 中的 GPT-6 Astra，大约一周就完成了：我睡觉前设定一个 /goal，早上查看结果。" > > ——Asana StackAI 首席技术官 Frank Hidalgo 博士 ## 将每次运行的模型成本降至 0.50 美元以下 对于模型 B，优化后将估计模型成本从至少 36.21 美元（部分原始运行在完成前就达到了步数上限）降至每次运行 1.24 美元，降低 29 倍。在 GPT-6.1 Sol 上的优化工作流又便宜 2.6 倍，仅需 0.47 美元。优化工作流中的每次运行都成功完成了任务并返回了正确答案。 3 次运行的均值。≥：基线包含被截断的运行，因此其均值是下限值。 右侧两个折线图对比了优化后的模型 B。模型 B 在同一研究的第一阶段运行，模型 C 和 Sol 6.1 在第二阶段运行（虚线）。 仅在 GPT-6.1 Sol 上，使用更大的历史预算时，新的缓存和截图策略将成本降低了 4 倍，从每次运行 1.97 美元降至 0.47 美元。每次调用便宜约 3 倍，因为 89% 的输入来自缓存，价格仅为未缓存的 5%。运行速度也更快：原始的模型 B 配置至少需要 22.5 分钟，而 GPT-6.1 Sol 上的优化工作流仅需约四分钟。 3 次运行的均值，标准差须线。≥：均值包含被截断或未完成的运行，因此真实值至少为此规模。 柱状图采用蓝色主题。缓存效果以 48 万字符较大预算柱为参照。 运行标记和标准差须线系根据原始图像近似重建；底层运行数据和标准差不可获得。 3 次运行的均值，标准差须线。≥：均值包含被截断或未完成的运行，因此真实值至少为此规模。 柱状图采用蓝色主题。缓存效果以 48 万字符较大预算柱为参照。 运行标记和标准差须线系根据原始图像近似重建；底层运行数据和标准差不可获得。 研究还揭示了历史记录管理如何影响智能体能否产生答案。给 GPT-6.1 Sol 更多空间保留浏览历史，将成功产出答案的运行次数从较小历史预算下的 18 次中仅 3 次，提升到较大历史预算下的全部 18 次，且每次答案都正确。对 Hidalgo 而言，其商业价值在于让客户能够使用更快、更强大的模型，同时保持运营成本的可持续性。 > "成本曾限制我们能为客户提供哪些模型来处理这些工作负载。通过提高智能体的效率，我们可以为客户提供更好、更快的模型，同时降低我们的运营成本。" > > ——Asana StackAI 首席技术官 Frank Hidalgo 博士 ## 扩展实验和产品测试规模 Asana 已将 StackAI 中的浏览器导航更改发布上线，并正在开发工具，使类似的实验更容易重复进行。团队计划逐步将这类测试整合到平台的评估体系中，使客户和内部团队在配置智能体时能够比较成本、运行时间和答案质量。 > "交付速度已不再是瓶颈，人的注意力才是。我们正接近这样一个世界：每位工程师都是一位带领一支智能体团队的项目经理。" > > ——Asana StackAI 首席技术官 Frank Hidalgo 博士 Asana 目前正在使用 Codex 中的 GPT-6 Astra 在产品功能发布前进行测试：Astra 导航平台、尝试不同的输入并为人工 QA 审核人员报告缺陷。Hidalgo 将此视为新一代软件开发生命周期的基础，届时大量云端智能体会话将并行测试各项功能。