OpenAI 的 Jalapeño 芯片专为快速大规模推理而构建，基准测试显示

# TechCrunch：OpenAI的Jalapeño芯片专为大规模快速推理而生，基准测试显示 来源：https://techcrunch.com/2026/08/25/openais-jalapeno-chip-is-built-for-fast-inference-at-scale-benchmarks-show/ 在周二的Hot Chips大会上，OpenAI对Jalapeño芯片（https://openai.com/index/jalapeño-first-results/）进行了更详细的介绍，包括新系统的首批基准测试结果。在SemiAnalysis的InferenceX基准测试中，Jalapeño在每用户生成的token数量和每千瓦吞吐量方面均超越了目前最先进的推理处理器。 OpenAI硬件负责人Richard Ho在新闻电话会议中表示：“总结来说，结果显示其性能相较于现有最先进技术实现了极其显著的提升。Jalapeño能在单位功耗内处理更多AI任务，同时响应速度更快。它既能高效服务海量用户，也能实现极低延迟。” 值得注意的是，这一对比对象是Nvidia Blackwell系统——但当Jalapeño全面部署时，竞争对手可能已取得显著进展。Ho估计，Jalapeño将于2026年底“以极小规模”投入部署，更大规模的部署将在2027年实现。 Jalapeño于去年十月首次公布，由OpenAI与博通紧密合作开发，OpenAI自身的模型也参与了研发过程。该公司计划将Jalapeño打造为跨代平台，实现AI产品、模型、芯片与内存的协同开发。 得益于这种全栈技术方案，OpenAI得以针对推理流程中常导致卡顿的特定阶段进行优化。特别是，Jalapeño旨在最小化预填充与通信阶段的处理延迟——OpenAI指出这些阶段往往形成性能瓶颈。 “我们设计Jalapeño时致力于减少数据移动与通信延迟，”公司在发布结果的博客文章中表示。“这意味着模型状态（包括生成响应时使用的KV缓存）可以被显式放置并保持在本地，同时系统能为每个推理阶段动态调配计算、内存与网络资源的最优组合。” *当您通过文章中的链接进行购买时，我们可能会获得少量佣金（https://techcrunch.com/techcrunch-affiliate-monetization-standards/）。这不会影响我们的编辑独立性。* Russell Brandom自2012年起从事科技行业报道，专注于平台政策与新兴技术领域。此前曾在The Verge和Rest of World工作，并为Wired、The Awl及MIT Technology Review撰稿。联系方式：[email protected] 或Signal账号 412-401-5489。 查看作者简介（https://techcrunch.com/author/russell-brandom/）