OpenAI 的 Performance Factory 如何让 ChatGPT 保持快速

OpenAI Blog 新闻

摘要

OpenAI 介绍了其 Performance Factory——一个基于 Codex 与自家模型的自主系统,用于自动调查并修复 ChatGPT 的性能回归;该回归工作流在三个多月内完成了 1,700 多次调查、根因定位 600 多个案例。

了解 OpenAI 如何构建 Performance Factory——一套由 Codex 驱动的工作流系统,用于发现并修复性能问题,帮助 ChatGPT 保持快速响应。
查看原文
查看缓存全文

缓存时间: 2026/11/19 18:01

# OpenAI 的 Performance Factory 如何让 ChatGPT 保持高速运行 Source: https://openai.com/index/how-openai-performance-factory-keeps-chatgpt-fast/ 智能体(agentic)开发的惊人速度使得传统的性能工程方法变得不可持续。为了跟上节奏,我们构建了 Performance Factory——一个利用 Codex 和我们模型的全部能力,以空前速度发现并修复性能回归的自主系统。Performance Factory 在云端运行,自动化地调查和解决性能问题,使我们能够跟上路线图的雄心。 在 Performance Factory 中,我们的工程师为周期性任务定义工作流,并为执行这些任务的 Codex 智能体编写指令。特别是,当性能告警触发时,**回归工作流(Regression Workflow)**会创建一个任务。一个智能体调查性能下降,将发现记录在任务中,并提出修复方案供工程师审查。部署之后,另一个智能体会接手同一任务,检查性能是否已恢复到基线。从调查到编写修复方案再到验证缓解措施,这个 Performance Factory 中的第一个工作流已经自动化了修复回归的整个流程。在短短三个多月内,回归工作流跟踪了超过 1,700 次调查,并对 600 多个案例进行了根因分析。这意味着每天有 17 次自动化调查。 在这里,我们将分享我们对 Codex 的使用如何演变为如今的 Performance Factory,回顾我们第一个运行中的工作流,并分享在生产环境中构建和运行智能体工作流的早期经验教训。 ## 从手动调查到自动化工作流的演进之路 随着我们将 Codex 用于越来越多的性能工作,我们注意到团队工作方式的一个演进过程。我们希望其他服务团队在其他领域采用智能体工作流时,能从我们的过程中有所借鉴。 *软件工作从人工劳动,发展到与机器协作,再到智能体工厂。* **1. Codex 之前。** 在使用 Codex 之前,工程师需要手动检查指标和日志、比较跟踪记录(traces)、调试线上机器并阅读代码来调查性能下降。这项工作耗时费力,而且知道该从哪里看往往需要对服务有深入的了解。相关的信号很容易被遗漏。当我们反复遇到同类问题时——比如 ChatGPT 首 token 延迟的回归——我们会构建高级工具,如 CPU 分析器和内存分配分析器,来简化这些调查。随着时间的推移,我们积累了 30 多个性能工具。 **2. Codex 作为协作伙伴。** 一旦有了 Codex 作为协作伙伴,工程师就可以问:"为什么这里变慢了?",并与 Codex 一起调查,即使是在不熟悉的系统中。Codex 可以搜索大型代码库、找到相关的指标和跟踪记录、追踪跨服务的交互,并进行适当的性能分析,以拼凑出发生了什么。但工程师仍然需要引导流程,知道该使用哪些性能工具以及如何指导调查。困难的调查对更多人来说变得可调试,所需的专家知识和时间也更少。 **3. 可复用的技能。** 为了进一步实现自动化,我们将性能团队的调查流程提炼为一个名为 `perf-forensics` 的共享技能。它告诉 Codex 有哪些工具可用、何时使用它们,以及如何逐步排查性能下降问题,使 Codex 能够从多个角度尝试解决问题: - 找出性能下降何时开始 - 确定受影响的请求 - 调查部署或配置变更是否能解释这一现象 我们使用基于历史回归的评估(evals)来测试和优化 `perf-forensics` 技能。对于我们要重点处理的回归类型(例如 ChatGPT 延迟和可用性下降),我们现在可以给 Codex 一个告警,然后在一次运行中就得到诊断结果,无需逐步引导它。 **4. 人工代理。** 随着我们添加和优化与性能相关的 Codex 技能(如 `perf-forensics`),我们开始觉得自己像是告警和 Codex 之间的代理。告警触发,工程师只需将其复制粘贴到带有正确技能的 Codex 中,然后再将发现的结果粘贴回 Slack。 **5. 自动化调查。** 接下来,我们将调查迁移到云端,使告警可以自动启动 Codex 会话。Codex 调查性能下降并将发现发布到 Slack 线程中,但自动化到这条回复就结束了。工程师仍需接手诊断、开发修复方案,并在部署后检查是否有效。随着告警的累积,仅仅弄清楚哪些回归需要关注,就意味着要翻阅大量的 Slack 线程。 **6. 工厂。** 我们构建了 Performance Factory 来运行端到端的智能体性能工程工作流。它跟踪每个活跃任务下一步需要什么,并在该步骤就绪时分配一个智能体。每个任务保留其状态和发现,以便工作可以在智能体和工程师之间传递,并在代码审查或部署后恢复。对于一个回归,工作从调查告警开始,以验证生产环境中的恢复结束。我们可以将常见的优化转化为定期在我们的服务上运行的工作流。一个发现潜在优化机会的工作流可以在另一个工作流中创建任务来测试和实施该优化。 ## Performance Factory 系统的四个组成部分 Performance Factory 由四个组件组成:一个带有可配置工作流的任务追踪器、一个将就绪工作分配给智能体的调度循环、一个在云端运行 Codex 的 API,以及在发生变化(如 GitHub 审查评论发布或部署完成)时唤醒智能体的订阅机制。 *Performance Factory 由任务服务、调度循环、云端执行和订阅机制组成。* ### 带有可配置工作流的任务服务 任务服务是工程师通过添加配置文件和以 Markdown 编写的智能体提示词来定义工作流的地方。配置列出了任务可以经历的状态、允许的转换,以及哪些步骤需要工程师参与。单独的提示词告诉智能体在每个步骤该做什么。 一个代码更改任务包含一个配置文件,以及用于实现和审查的 Markdown 提示词。 每项工作都成为工作流中的一个任务,所有工作流都可以在一个 UI 中查看。工程师可以看到有哪些开放任务、跟踪进展,并与可能拥有更多上下文或能帮助完成下一步步骤的同事共享任务。 ### 分配工作的调度循环 调度循环定期检查哪些任务已准备好进入下一步骤。它通过启动一个带有任务当前状态指令的 Codex 轮次来为每个任务分配一个智能体。智能体记录其在任务上的进展,如果完成了该步骤,就将任务推进到下一个状态。 ### 云端的 Codex 一旦任务被分配,智能体就需要一个可以开展工作的地方,并且能够访问工程师会使用的相同工具。我们构建了一个内部 API,以便以编程方式在云端调用 Codex 轮次。Codex 轮次在我们网络内的一个环境中运行,可以访问我们的代码仓库和工程师使用的可观测性工具,如指标、日志、跟踪记录、CPU 性能分析和内存快照。 智能体以服务身份(service identity)运行,因此我们可以对其权限进行范围限制,并查看哪些操作来自我们的性能智能体。将智能体工作迁移到云端,使我们能够并行运行工作,而无需依赖工程师的笔记本电脑保持打开状态或手动管理单独的云端开发机。 ### 在发生变化时唤醒智能体的订阅机制 有些工作需要等待某个人或一次部署;在此期间智能体不应该持续运行。当任务需要等待时,它可以订阅事件,如 GitHub pull request 上的审查评论或 CI 检查失败,以便在可以重新接手工作时收到通知。当收到的事件与订阅匹配时,任务就再次变为就绪状态,调度循环便可以分配智能体继续工作。 ## 第一个工作流:从告警到恢复 发现、根因分析和解决回归是我们在 Performance Factory 中构建的第一个工作流。我们称之为回归工作流(Regression Workflow)。一次性能回归会经历几个阶段:**需要调查(needs investigation)**、**已找到根因(root caused)**、**已提出修复方案(fix proposed)** 和 **已解决(resolved)**,因此我们构建的自动化工作流让任务同样经历这些阶段。 当其配置的性能告警触发时,回归工作流会创建一个任务,由智能体接手并推动其经历这些阶段。任务的状态和关键发现记录在任何单个智能体的上下文之外,以便其他智能体或工程师可以接手这项工作。工程师可以在 Slack 或回归工作流 UI 中跟踪工作、补充上下文并审查提出的更改。修复方案部署后,一个智能体会检查性能是否已恢复到原始状态,然后才会解决该任务。 ### Performance Factory 回归工作流 检测到一次回归。 1. 检测(Detected)——系统 2. 查找根因(Find root cause)——智能体 3. 提出修复方案(Propose fix)——智能体 4. 审查与部署(Review & deploy)——工程师 5. 验证恢复(Verify recovery)——智能体 6. 已解决(Resolved) 当前阶段:已检测 *回归工作流的步骤包括查找根因、提出修复方案、审查与部署,以及验证恢复。* ### 智能体查找根因 查找根因(或多个根因)是工作流中的第一个主要步骤。智能体首先确定哪些指标变差了、它们何时开始变化,以及哪些服务请求受到了影响。`perf-forensics` 技能使 Codex 能够访问我们性能工程师使用的工具,以及一套解决这些问题的操作手册。 当某个指标超过阈值时会触发告警,但回归可能在数小时前就开始了。智能体会回溯数据,找出指标首次变差的时间。然后它比较不同请求组:类似的请求确实变慢了吗,还是我们服务的本来就很慢的请求变多了?这些发现指向不同的原因。 一旦知道了何时何地查看,智能体就会检查部署和功能开关(feature flag)更改,然后阅读相关代码。它检查变更实际到达受影响请求的时间,并使用日志或跟踪记录来验证代码能否解释所发生的事情。 ### 对抗性审查加强了诊断 在早期,智能体有时会止步于它找到的第一个看似合理的解释,而其中一些诊断后来被证明是错误的。为了捕捉这些错误,我们增加了一个**对抗性审查(adversarial review)**:一个独立的 Codex 会话,试图推翻提出的诊断。审查者重新检查假设并测试反事实情况。如果是一次发布导致了性能下降,那么那些没有暴露于该变更的类似请求是否仍然正常?如果疑似变更被回滚了,受影响的指标是否恢复了? 在一次调查中,一个智能体将失败的 ChatGPT 对话追溯到图片下载错误,并标记为已找到原因。Codex 审查者注意到,负责定位文件的内部服务已经恢复,而图片请求仍在失败。该诊断无法解释持续的失败,因此 AI 审查者重新开启了调查,并记录了仍需确认的事项。 我们成功地将较大的任务拆分为专注的 Codex 轮次。在对 100 个根因建议的人工审查中,我们评定了 70% 的准确率,30% 需要进一步完善或尚未完全建立因果关系。在回归工作流中,不同的轮次分别负责调查回归、质疑诊断和提出修复方案,通过制衡机制来提高准确率。 ### 修复回归才是难点 一旦诊断通过对抗性审查,工作流就会要求 Codex 实现修复并创建一个 pull request。工程师审查 PR 并决定是否合并。我们在让这个交接尽可能顺畅方面投入了大量工作。每个任务都有一份报告,包含自动生成的回归摘要、其影响、根因和提出的修复方案。我们对这些摘要进行了优化,使其易于浏览,包括指标时间序列、CPU 火焰图和跟踪记录,帮助工程师快速理解发现并检查证据。工程师可以直接编辑 PR,或利用诊断结果编写自己的修复方案。如果他们在 PR 上留下评论,工作流会唤醒一个智能体来处理这些评论。 Performance Factory 报告显示 worker 启动时间增加了一倍以上,并包含影响与恢复情况、根因和提出的修复方案。 *一个回归任务报告的示例,展示了关键细节、根因和提出的修复方案。* 在工程师部署修复方案后,工作流会唤醒一个智能体,检查性能是否已恢复到之前的基线。如果已恢复,智能体会将任务标记为已解决。如果性能只是部分恢复,智能体会解决原始回归,并为剩余的性能下降创建一个新任务,这可能是由不同原因引起的。如果没有改善,智能体会记录发生的情况,并将回归送回重新调查。 正确修复方案比找到原因更难。例如,我们见过智能体提出的更改比必要情况更复杂或引入新问题的案例。与根因步骤类似,我们对每个提出的修复方案增加了对抗性审查,以检查它们是否解决了根本问题,并帮助发现 bug 或意外后果。有些修复还需要更高层次的架构决策。例如,添加缓存可能会提高性能,但引入过时数据。这类更改受益于了解该服务并能权衡利弊的工程师的指导。 我们正在利用这些案例构建一个评估和改进循环。通过比较智能体提出的修复方案与工程师最终合并的更改,我们可以更好地了解建议的不足之处,构建评估,并改进工作流。我们还在研究使用合成性能测试,使智能体能够在请求工程师审查之前测量并修改提出的修复方案。我们也在探索智能体如何利用我们的其他智能体审查工具来识别低风险更改,并最终在无需人工参与的情况下发布这些修复。 ## 我们的收获 构建和运行 Performance Factory 让我们学到了很多关于在生产环境中开发和运营智能体工作流的经验。以下是一些给正在构建自己智能体工作流的团队的经验教训。 ### 保护工程师的注意力 Codex 调查的原始输出可能是一大堆难以解析的文本。要弄清楚智能体在主张什么,并追踪到相关图表来验证数据是否支持结论,需要花费大量精力。我们希望工程师将注意力集中在决策上,而不是重建智能体的工作。 智能体可以调查的回归数量超过了团队有时间阅读的数量。我们的第一个版本给工程师提供了一个充满发现的 UI,但仍然需要有人来决定哪些信息是重要的。一次回归也可能在告警、监控和渠道中表现为多个事件。现在的工作流会链接相关事件,按团队关注的指标进行分组,并按估计影响进行排序。工程师可以专注于补充上下文、权衡利弊并决定发布什么。 ### 评估对智能体的更改 更新调查技能或升级模型可能会使智能体在某些案例上诊断得更好,在其他案例上更差,因此我们需要在更新之前测试其影响。我们分别测试两件事:1) 智能体的调查能力有多好;2) 其摘要对工程师有多有用。 #### 评估调查能力 对于调查,我们针对过去的生产事件进行回测。我们将这些事件转化为一套测试用例,当技能发生变化时可以重新运行。一个 Codex 智能体尝试进行调查

相似文章

@rohanpaul_ai:OpenAI 构建了一套系统,当警报提示 ChatGPT 运行变慢时,就会自动启动 Codex 智能体,深入排查日志……

X AI KOLs Following

OpenAI 构建了一套自动化事件响应流水线:ChatGPT 运行变慢的告警会触发 Codex 智能体,通过日志和代码变更诊断问题;第二个智能体以对抗方式验证诊断结果,第三个则提出修复方案,供人工审批——在每天 17 次调查中,诊断准确率约为 70%,但在 600 多项修复提案中,只有约 15 项未经修改就上线了。

ChatGPT Work Completely Changes How You Use ChatGPT

YouTube AI Channels

OpenAI推出ChatGPT Work功能,将聊天助手转变为能自主完成复杂工作流的智能体,支持文件整理、网站构建、自动化任务和连接外部工具,桌面端体验最强,为非技术用户提供类似Codex的能力。

Get started with ChatGPT Work

YouTube AI Channels

OpenAI发布了全新的ChatGPT,它不再只是对话工具,而是能连接日历、Slack、Drive等工具,自动完成工作简报、数据分析和应用修复,甚至能操作电脑和浏览器。