期限红利（13分钟阅读）

# 截止日期红利 来源：https://deadline-dividend.onrender.com/ 1946年，重达30吨的ENIAC占据了整个体育馆大小的房间。五十年后，宾夕法尼亚大学的学生们在指尖大小的芯片上重现了其架构和计算能力。计算领域熟知的故事将昨天的机器从房间推到桌面，再装进口袋。宾大ENIAC回顾文章（https://almanac.upenn.edu/archive/v42/n19/020696.html） 但工程师们也在另一个方向上提升了密度。ASCI Red占据同样大小的房间，但突破了每秒一万亿次浮点运算（1 teraFLOP）大关。互联网公司用协调一致的服务器填满仓库；到2009年，谷歌工程师将数据中心称为“仓库级计算机”。密度可以将昨天的工作负载置于更小的空间，或在昨天的空间里容纳更多工作负载。美国能源部关于ASCI Red的说明（https://www.energy.gov/science/doe-explainsexascale-computing）谷歌关于仓库级计算机的论文（https://research.google/pubs/the-datacenter-as-a-computer-an-introduction-to-the-design-of-warehouse-scale-machines/） 将同一个高难度问题同时交给多个AI端点，并给它们十秒钟时间。其中一个端点用掉了大部分时间。另一个几乎瞬间就给出了回复，我们称其为“快如闪电”。但这种熟悉的简写方式将速度与时间混为一谈，并默默将初始回复视为实验的终点。我们用速度的语言描述延迟：让我们印象深刻的是短暂的等待。解码速度衡量每秒输出的token数量；而延迟衡量获得有用结果所需的时间。让每个端点持续工作直到十秒结束。更高的速度可以更快地完成固定工作量，或在相同的截止日期前完成更多工作。将这部分有用的额外工作称为**截止日期红利**。它可以用于资助另一种策略、一个评审环节、一次验证流程，或故障恢复。 8月13日，这个思想实验变成了产品。OpenAI为GPT-5.6 Sol开放了Ultrafast的有限API预览，并报告其输出速度高达每秒750个token，最高可达标准速度的14倍。在Cerebras进行的六项任务GDP-Val中等推理比较中，GPT-5.6 Sol在Ultrafast模式下用时83.0秒，在标准模式下用时464.2秒，在Cerebras描述为“质量匹配”的设置下，实现了5.59倍的端到端性能提升。更快的路径在Cerebras上运行。OpenAI关于Ultrafast的公告（https://openai.com/index/previewing-ultrafast/）Cerebras的基准测试报告（https://www.cerebras.ai/blog/accelerating-gpt-5-6-sol-ultrafast-with-openai） Artificial Analysis为gpt-oss-120b提供了更广泛的比较。在其8月13日的快照中，Cerebras的解码速度为1,790.3 tokens/秒。列表中第二快的SambaNova端点速度为701.3；Groq为476.1；16个端点的中位数为170.7。Cerebras的速度是第二名的2.55倍，是中位数的10.49倍。实时提供商对比（https://artificialanalysis.ai/models/gpt-oss-120b/providers）已捕获的端点数据（https://deadline-dividend.onrender.com/data/aa-gpt-oss-120b-2026-08-13.json） 该快照还评分为：Cerebras端点的准确率为87.28%，SambaNova为98.15%。在能力比较上，更具说服力的是对Sol的测试：GPT-5.6 Sol在两种路径上均运行于中等推理模式，使用的是Cerebras描述为“质量匹配”的设置。 假设1秒用于开销，500个token用于答案，且观察到的输出速率代表串行token执行。在同样的十秒截止日期前，中位数端点有空间处理约1,036个推理token，第二快的端点有5,812个，而Cerebras有15,613个。这使得Cerebras拥有第二名建模串行推理预算的2.69倍，以及中位数的15.07倍。这个预算能带来多少额外的能力？截止日期红利开启了三种可能性：当前模型可以立即使用更多计算资源；未来的模型可以学会利用更大的“测试时计算”预算，作为另一个规模化的杠杆；串行智能体可以将推理速度转化为执行速度。 在相同的十秒截止日期下，扣除一秒开销并预留500个token给答案，中位数端点可容纳约1,036个推理token，第二快的端点可容纳5,812个，Cerebras可容纳15,613个。 ## 速度测试衡量的是什么 gpt-oss的比较使用了10,000个token的提示词和滚动72小时的中位数。每个配置的端点结合了硬件、量化、软件、调度和提供商设置。捕获的Cerebras数据行显示首个数据块在0.53秒记录，首个答案token在1.65秒出现。 **首token时间**包括请求处理、排队、预填充和初始生成。一旦文本开始生成，**token间延迟**衡量解码token之间的间隔；其倒数即为显示的速率。**端到端延迟**衡量获得有用结果的完整等待时间。批处理可以独立于单个用户看到的流速度，提高集群的**吞吐量**。 Artificial Analysis每次只运行一个请求，并在第一个数据块后测量解码，因此其测试直接捕获单流解码。对于串行推理（每个token都依赖于前一个），该速率决定了在截止日期前能容纳多少生成内容。性能方法论（https://artificialanalysis.ai/methodology/performance-benchmarking） ## 如何花费红利 研究人员将提示之后花费的计算称为**测试时计算**（Test-Time Compute, TTC）。**内在TTC**延长单条自回归序列，因此单流解码直接控制它。**外在TTC**在模型周围添加采样、评审、验证器或工具。并行分支以并发性和总体计算换取更少的墙钟时间；一个选择器仍需将候选方案覆盖范围转化为最终答案。 训练决定了额外的推理计算是否变得有用；请求时预算决定了模型能执行该学习过程的多少。当前系统可以将红利花费在另一种策略、矛盾检查、验证流程或故障恢复上。 OpenAI的o系列将更大的TTC预算与推理性能的代际飞跃相结合。OpenAI表示，大规模强化学习教会了o1进行有效推理，其性能随着训练计算和思考时间的增加而提升。在AIME 2024上，当TTC设置最高时，o1的单样本准确率从GPT-4o的12%提升至74%。对于o3，OpenAI后来报告其强化学习计算和推理时推理量均提升了一个数量级，且收益持续。Snell等人使基于提示的自适应TTC在测试数学问题上的效率比“最佳N选1”方法高四倍多；在一些FLOPs匹配的情况下，较小的PaLM 2模型击败了约大14倍的模型。OpenAI关于o1的介绍（https://openai.com/index/learning-to-reason-with-llms/）OpenAI关于o3的介绍（https://openai.com/index/introducing-o3-and-o4-mini/）Snell等人的论文（https://arxiv.org/abs/2408.03314） Cerebras将此方法包装为CePO：计划、采样、比较不一致之处，然后通过结构化的“最佳N选1”进行选择。Cerebras报告其花费的计算量是一次性生成的10到20倍，在Llama 3.3-70B上产生约100 tokens/秒的速度，并在选定的基准测试中击败了Llama 3.1-405B。OptiLLM可以将该工作流发送到多个提供商。CePO展示了一种具体的将推理速度用于额外推理和选择的方式。CePO（https://www.cerebras.ai/blog/cepo）文档（https://inference-docs.cerebras.ai/capabilities/cepo）OptiLLM（https://github.com/algorithmicsuperintelligence/optillm） ## 当推理变为执行 Karpathy将由LLM执行的自然语言程序称为“软件3.0”。当模型决定一个在线应用程序接下来做什么时，推理延迟就变成了执行延迟。一个决策就能创造价值：在交易结算前检测到欺诈信号可以阻止它；在故障期间进行的事件诊断可以指导响应。更快的前沿推理可以将这些决策从后台进程移至在线路径。工具使用会放大这种效应：模型发出一个调用，客户端执行它，结果成为下一个状态。成本决定了产品能负担多少次调用；延迟决定了它能连续执行多少次调用。路由可以将常规步骤发送给较小的模型，将难题交给前沿模型。“软件正在再次改变”（https://www.youtube.com/watch?v=LCEmiRjPEtQ）工具调用（https://inference-docs.cerebras.ai/capabilities/tool-use）RouteLLM（https://arxiv.org/abs/2406.18665） Codex-Spark展示了当模型生成不再是时间瓶颈时会发生什么。OpenAI在Cerebras上运行其较小的实时编码模型，速度超过1,000 tokens/秒。API开销变得显著，促使引入缓存、减少网络跳转和使用持久WebSockets；OpenAI报告端到端代理循环速度最高提升40%。开发者可以在中途打断、重定向、编辑、测试和重试。Codex-Spark（https://openai.com/index/introducing-gpt-5-3-codex-spark/）OpenAI关于代理循环的介绍（https://openai.com/index/speeding-up-agentic-workflows-with-websockets/） `计划 → 搜索 → 检查 → 编辑 → 测试 → 诊断 → 重新测试 → 报告` 为每个步骤分配0.75秒固定开销、1,000个输出token和1.5秒工具往返时间。在170.7 tokens/秒的提供商中位数速率下，整个循环需要64.9秒。在Cerebras捕获的1,790.3 tokens/秒速率下，只需22.5秒。在这些假设下，30秒的截止日期至少需要667 tokens/秒的速率。在这个阈值下，速度决定了程序是运行在请求路径中，还是作为后台作业。 Spark和Sol展示了这种可能性的范围。Cerebras的公共API列出了三种支持工具的模型；其专用目录增加了来自12家厂商的43种配置以及自定义权重，覆盖从Qwen 0.6B到GPT-OSS、Llama、Mistral、GLM、Kimi、DeepSeek和Gemma。企业可以在Cerebras上将常规操作路由到较小模型，将难题路由到较大模型。公共模型API（https://api.cerebras.ai/public/v1/models）专用模型目录（https://inference-docs.cerebras.ai/dedicated/overview） ## 展示：原始速度在时间压力下如何存活 **在所述假设下：** 基础十秒案例产生第二名建模串行推理预算的2.69倍，以及提供商中位数的15.07倍。显示模型和敏感性表 固定截止日期必须容纳开销、工具、验证和答案。完成上限（completion cap）可以进一步限制推理预算。 对于单条串行路径，令 T = F + (B + A) / s + U + V 其中`T`表示截止日期；`F`为请求、排队、预填充和首token开销；`B`为串行推理token数；`A`为答案token数；`s`为解码速率；`U`为工具时间；`V`为验证或选择时间。带有完成上限`C`时，`B = max(0, min{s(T-F-U-V)-A, C-A})`。要达到基线预算的`m`倍，需要 Srequired = (mB0 + A) / (B0 + A) 并行分支可以在墙钟时间上重叠，但每个分支都会增加总计算量。表格将`U`和`V`设为零以隔离串行工作；上面的循环示例包含了工具时间。速率来自捕获数据。截止日期、开销、答案长度、四倍目标以及恒定速率是假设值。 敏感性分析 假设`T / F / A` | 基线到快速速率 | 基线到快速`B` | `B`倍数 | 所需/观测加速比 --- | --- | --- | --- | --- 低容忍度，第二快 | 2s / 0.5s / 100 | 701.3 到 1,790.3 | 952 到 2,585 | 2.72倍 | 3.71 / 2.55倍 基础，第二快 | 10s / 1s / 500 | 701.3 到 1,790.3 | 5,812 到 15,613 | 2.69倍 | 3.76 / 2.55倍 基础，提供商中位数 | 10s / 1s / 500 | 170.7 到 1,790.3 | 1,036 到 15,613 | 15.07倍 | 3.02 / 10.49倍 高容忍度，有上限 | 60s / 1s / 1,000 | 170.7 到 1,790.3 | 9,070 到 39,960 | 4.41倍 | 3.70 / 10.49倍 在十秒时，建模的推理空间相比第二名增长了2.69倍，相比中位数增长了15.07倍。在60秒时，Cerebras的40,960 token完成上限在扣除假定的答案token后，留下了39,960个推理token。Cerebras模型元数据（https://inference-docs.cerebras.ai/api-reference/models/public-models） ## 下一个规模化杠杆 当前模型可以将此空间用于更长的思考、另一个候选方案、一次检查或另一个操作。训练模型良好使用更大预算，可能成为一个新的规模化杠杆。 训练规模化遵循一个简单的配方：增加参数、数据和计算。DeepMind发现模型大小和训练token应同步增长，这增加了对数据的需求。Epoch AI估计，如果趋势持续，前沿开发者可以在2026年至2032年间使用经过质量和重复度调整的公共人类文本库；合成、私有、多模态和重复数据延长了这一时间线。OpenAI的规模化法则论文（https://openai.com/index/scaling-laws-for-neural-language-models/）Chinchilla论文（https://arxiv.org/abs/2203.15556）Epoch AI关于公共人类文本的报告（https://epoch.ai/publications/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data）数据受限模型的规模化（https://arxiv.org/abs/2305.16264）Epoch AI的2030年预测（https://epoch.ai/files/AI_2030.pdf） 预训练在部署前就承诺了计算和数据。TTC在请求之后分配计算，为更难的问题提供更大预算。以推理为导向的训练可以使该计算更高效；更快的基础设施使其保持可用；未来的训练则可以瞄准新释放的预算。 ## 从快速端点到市场地位 当模型工作时答案价值开始流失，速度就变得至关重要。OpenAI强调了其在事件响应、金融、语音、商业和研究领域的应用。从后台作业跨越到在线交互，能催生不同的产品；商业价值遵循正确、及时结果的全成本。OpenAI关于Ultrafast的公告（https://openai.com/index/previewing-ultrafast/） Cerebras将功劳归于WSE-3芯片：单片晶圆上拥有90万核心、44GB SRAM和21 PB/s的内存带宽。它将模型层流水线化分布在多个晶圆上，使权重接近计算单元。Artificial Analysis测量的是完整端点；OpenAI的发布将其旗舰模型置于该架构之后。招股说明书（https://www.sec.gov/Archives/edgar/data/2021728/000162828026035214/cerebras-424b4.htm）Ultrafast架构介绍（https://www.cerebras.ai/blog/accelerating-gpt-5-6-sol-ultrafast-with-openai） OpenAI承诺到2028年购买750兆瓦的计算容量，已预付约10亿美元，并持有到2030年再增加1.25吉瓦的选择权。它已在Cerebras上运行Codex-Spark和Sol Ultrafast，通过OpenAI的API将其旗舰模型置于晶圆级推理之上。第二季度10-Q报表（https://www.sec.gov/Archives/edgar/data/2021728/000162828026056357/cbrs-20260630.htm）OpenAI合作伙伴关系公告（https://openai.com/index/cerebras-partnership/）Codex-Spark（https://openai.com/index/introducing-gpt-5-3-codex-spark/）Ultrafast（https://openai.com/index/previewing-ultrafast/） Cerebras表示，它已与OpenAI达成协议，为未来的Cerebras硬件共同设计未来模型，这是一条让训练和硬件共同适应共享延迟范围的路径。SEC招股说明书（https://www.sec.gov/Archives/edgar/data/2021728/000162828026035214/cerebras-424b4.htm） 亚马逊计划类似的分工：Trainium用于并行预填充，Cerebras CS-3用于串行解码。其协议包含多年期租赁和购买期权；Cerebras的目标是在2027年第一季度投产。这种分工定义了一个有价值的切入点：Cerebras可以专注于串行解码，而其他硬件处理训练、预填充或批量服务。AWS公告（https://press.aboutamazon.com/aws/2026/3/aws-and-cerebras-collaboration-aims-to-set-a-new-standard-for-ai-inference-speed-and-performance-in-the-cloud）第二季度发布（https://www.sec.gov/Archives/edgar/data/2021728/000162828026056186/cbrsannouncesfinancialresu.htm） 截至6月30日，Cerebras持有86亿美元现金、现金等价物、受限现金和短期投资。它表示，超过600兆瓦的容量已投入运行或签约，将在2027年底前交付；2026年的制造产能将增长十倍以上；所需的TSMC晶圆已得到保障。第二季度发布（https://www.sec.gov/Archives/edgar/data/2021728/000162828026056186/cbrsannouncesfinancialresu.htm）