FP8就是你所需的一切（第一部分）：驳斥硬件FP64作为HPC圣杯的观点

# FP8 就是一切（第一部分）：打破硬件 FP64 作为 HPC 圣杯的神话  
## 一个面向后 FP64 时代内存受限负载的 Ozaki Scheme II 张量-内存均衡模型与实现策略  

**来源:** https://arxiv.org/html/2606.06510  
**机构:** RIKEN 计算科学中心 (R-CCS)，神户，兵库，日本（2026年5月）  

###### 摘要  

传统 HPC 的教条长期以来认为，原生硬件 fp64 硅片是科学计算不可简化的基础——没有它，可信的双精度模拟就不可能实现，是所谓的“圣杯”。本文基于一个统一的分析模型和逐个内核的审查，论证这一教条是错误的：在 B300 代及之后的 AI 优化 GPU 上，丰富的 fp8 张量吞吐量，结合基于中国剩余定理的 Ozaki Scheme II，足以在完整的 HPC 内核谱系上，以全 fp64 精度恢复内存屋顶执行。  

现代 GPU 架构向低精度 AI 能力的分化，为需要 IEEE 754 双精度（fp64）运算的科学应用造成了日益扩大的差距。NVIDIA 的 Blackwell Ultra (B300) GPU 正是这一趋势的典型例子：它提供 10–15 PFLOPS 的密集/稀疏 NVFP4 张量吞吐量，同时将原生 fp64 性能压缩到大约 1.3 TFLOPS——相对于 B200 下降了 31 倍 [24, 5]。十多年来，数据中心级 GPU 的 fp64 张量吞吐量首次被压缩到芯片 fp32 (TF32) 能力的一小部分，这一状态历史上仅存在于消费级芯片中。这实际上使得即使传统上受内存限制的内核，如稀疏矩阵-向量乘法 (SpMV)、批量矩阵-向量乘法 (GEMV) 和模板扫描，在仅存的原生 fp64 单元上也变成了计算受限。  

本文分析了最近提出的基于中国剩余定理的 Ozaki Scheme II [31]——连同其面向 fp8 的变体 [37, 20]——如何能够作为这类“fp64 匮乏”架构上原生 fp64 的*实用替代方案*，并特别关注先前关于 Ozaki 风格仿真工作未直接解决的带宽受限内核。我们做出五项贡献。  

首先，我们开发了一个统一的分析性能模型，即张量-内存均衡 (TME) 模型，它通过三个仿真特定参数扩展了经典的 Roofline [39]：计算倍数 α（每个高精度操作所需的低精度 MMA 数量）、带宽倍数 β（由残差/切片扩展引起的数据膨胀）以及重建延迟 γ。  

其次，我们确定了*寄存器级融合*分解与重建的机制，该机制驱动流式内核的 β→1，使得仿真成本在内存墙背后几乎为零。  

第三，我们预测，在 B300 和即将推出的 Rubin R200 上，Ozaki II 将仿真 fp64 吞吐量从崩溃的原生约 1 TFLOPS 基底大幅提升至约 500 TFLOPS (B300) 和约 400 TFLOPS (Rubin)——在计算受限区域，两者均比 B200 的原生 fp64 上限高出超过一个数量级，同时在带宽受限区域匹配内存屋顶。换句话说，Roofline 分析表明，仿真*恢复*了双精度性能在整个运算强度谱系中应有的位置——这正是科学计算所需要的。  

第四，将前一代 H100 作为 HPC 平衡的基准，我们表明 Ozaki II 在研究的每个 GPU 上的每个工作负载上都匹配或超过 H100，这与 B300 原生 fp64 施加的高达 50 倍的下降形成鲜明对比。  

第五，将本文的矩阵/模板/SpMV 结果与同伴的 FFT 分析 [19]（该分析确立了 B300 通过将 Kulisch 定点重建路由到其幸存的 INT32 SIMT 管道，在完全 fp64 精度下允许软件救援）结合，并针对 BLAS-1 约简使用 FP32+Kahan 补偿，§7.1 的审查得出结论：*B300 上每个被调查的 HPC 内核类都存在一条以全 fp64 精度达到内存屋顶的路径*。综合证据支持标题的强烈主张：*fp8（借助 Ozaki II 和 Kulisch 逃生路线）就是生产级 HPC 所需的一切*；根据这一证据，原生 fp64 硅片不再是历史上被认作的那个圣杯。借助现代 AI 编码助手，构建 Ozaki II 和 Kulisch 实现所需的内核工程投资现在可以在数月而不是数年的时间范围内完成。  

最后，我们讨论了仿真真正具有竞争力的时机、迭代细化何时仍然更可取，以及 NVIDIA 最近在其 Rubin 规格中引入*官方*“仿真 DGEMM”列 [28, 16]、将 Ozaki 仿真集成到 cuBLAS [26] 中，以及美国能源部 Genesis 任务宣布依赖 Ozaki 仿真 [42]，对未来科学软件栈设计的影响。  

**关键词:** FP8 张量核心仿真；Ozaki Scheme II；张量-内存均衡 (TME) 模型；内存受限 HPC 内核；NVIDIA Blackwell Ultra (B300)；后 FP64 GPU 架构；AI for Science (AI4S)。  

## 1 引言  

高性能计算 (HPC) 硬件的发展轨迹已经分岔。虽然科学模拟——从量子色动力学和计算流体动力学到气候仿真和地震成像——在数值稳定性和可重复性上仍然依赖 IEEE 754 双精度 (fp64) 算术，但数据中心 GPU 市场已决定性地转向人工智能。这一转向的特征是低精度吞吐量（fp16, fp8, fp6, fp4）呈指数级增长，直接以牺牲原生 fp64 能力为代价。NVIDIA 的 Blackwell 架构 [23, 9] 是典型的案例研究。  

B200 保留了大约 40 TFLOPS 的密集 fp64 张量性能，而 Blackwell Ultra B300——基于相同架构但张量核心为 NVFP4 重新平衡——官方数据手册 [24] 报告称每个 GPU 只有约 1.3 TFLOPS 稀疏 / 1.2 TFLOPS 密集 fp64。独立的微基准分析证实了这种 fp64 退化，并记录了 NVFP4 上升为主要张量格式 [9, 5]。在 SC25 上，Dongarra 指出“平台的浮点能力并未比上一代有所提高……64 位性能没有提升”[40]。  

后续架构，NVIDIA 的 Vera Rubin 平台 (R200 GPU)，延续了同样的轨迹。NVIDIA 公布的 Rubin 规格报告原生 fp64 向量性能约为 33 TFLOPS——相比 B200 的约 40 TFLOPS 进一步下降 [17]——并首次列出了明确的“仿真 DGEMM”列，通过 Ozaki 风格仿真实现了约 200 TFLOPS [28, 16]。同时，Rubin 配备 22 TB/s 的 HBM4 带宽——是 B300 的 8 TB/s 的 2.75 倍——和 4 PFLOPS 的密集 fp8 矩阵吞吐量。NVIDIA 因此承诺将仿真作为其科学计算旗舰产品上实现 fp64 等效矩阵性能的*官方*路径，这一承诺在已宣布的基于 Rubin 的超级计算机 Doudna (NERSC) 和 Blue Lion (LRZ) 中得到了具体体现 [22, 27]。  

这种退化有两个至今尚未被一起处理的后果。  

#### 后果 1：内存受限内核变为计算受限。  
经典的 Roofline 脊点——计算屋顶和内存屋顶相交处的运算强度——由 P_fp64 / B_mem 给出，其中 P_fp64 是峰值 fp64 吞吐量，B_mem 是 HBM 带宽。在 B300 上，这个脊点位于 1.3 TFLOPS / 8 TB/s = 0.16 FLOPS/Byte，如此之低，以至于实际上每个比 GEMM 更窄的密集线性代数内核都落入了计算受限区域。一个运算强度约为 0.5 FLOPS/Byte 的 7 点模板应以 8 * 0.5 = 4 TFLOPS 的水平在内存屋顶运行，但却被原生 fp64 管道限制在 1.3 TFLOPS。换句话说，*应用程序需要的带宽在芯片上物理存在，但无法被算术单元消耗*。  

#### 后果 2：低精度张量单元处于休眠状态。  
与此同时，B300 拥有 10 PFLOPS 的密集 NVFP4 吞吐量（15 PFLOPS 稀疏）和 5 PFLOPS 的密集 fp8（10 PFLOPS 稀疏）。在典型的纯 fp64 HPC 内核中，这些单元处于空闲状态，它们占据的硅面积对内核的求解时间没有贡献。这就是 AI 与 HPC 分歧的*黑暗硅*表现。  

#### Ozaki 方案。  
Ozaki 方案 [30] 最初是为精确点积和矩阵乘法引入的，在过去十年中已成为回收这种休眠吞吐量的经典机制。最近的工作在两个方向上扩展了该方案：原始的 Ozaki I（尾数切片）已适配到 fp16、fp8 和 int8 张量核心 [21, 29]；而 Ozaki、Uchino 和 Imamura 在 2025 年提出了一个基于中国剩余定理 (CRT) 的根本不同的 Ozaki II 变体 [31]。NVIDIA 于 2025 年 10 月将 Ozaki 风格仿真集成到 cuBLAS [26] 中，美国能源部的 Genesis 任务已明确将 Ozaki 仿真确定为在 AI 中心化硬件上进行 fp64 精度科学计算的回退路径 [42]。与此同时，AMD 围绕 MI430X 的近期定位表明，并非每个供应商都相信仅靠仿真就足够了 [41]。  

#### 本文填补的空白。  
尽管 Ozaki I 和 Ozaki II 在密集 GEMM 方面迅速成熟，但所有已发表的性能研究都集中在计算受限区域，在那里该技术最明显地获胜。据我们所知（截至 2026 年 5 月），没有已发表的分析系统地提出这样一个问题：*Ozaki II 何时对内存受限内核有利？* 这是主导真实科学模拟代码的运行区域：PDE 求解器中的模板扫描、迭代线性求解器中的 SpMV、时间步进降阶模型中的批量 GEMV 以及类似的带宽受限原语。传统观点认为 EFT 方法无法帮助带宽受限内核，因为它们增加了操作数计数——在 fp64 计算屋顶已跌至内存屋顶以下的硬件上，这一观点值得更仔细的审视。  

#### 本文的贡献。  
1.  我们推导了张量-内存均衡 (TME) 模型（§4），这是一个 Roofline 扩展，揭示了三个 Ozaki II 参数 (α, β, γ) 并预测了仿真匹配并超越原生 fp64 的交叉运算强度。  
2.  我们确定了寄存器级融合作为驱动 β→1 的结构性机制，并阐述了保持残差/切片分解完全在片上所需的内核设计规律（§5）。  
3.  我们针对 B300（Blackwell Ultra）和即将推出的 Rubin R200，预测了在完整运算强度谱系上可实现的仿真 fp64 吞吐量，并表明 Ozaki II + fp8 在带宽受限区域*同时*匹配内存屋顶，在计算受限区域大幅超越 B200 原生 fp64 上限（§3, §6）。  
4.  我们以 H100（最后一个 HPC 平衡型数据中心 NVIDIA GPU）为基准重新校准预测，并表明 Ozaki II 在所研究的每个架构上的每个工作负载上都匹配或超过了 H100，这与原生 B300 形成鲜明对比（§6.1）；我们还比较了 INT8 和 FP8 作为仿真基板（§6.2）。  
5.  我们通过将本文的矩阵/模板/SpMV 结果与同伴的 FFT 分析 [19] 结合，并针对 BLAS-1 约简使用标准的 FP32+Kahan 补偿（§7.1），*闭合了内核覆盖*。同伴论文为频谱工作负载建立了一个四层协同设计规则——B300 缺失约 10 倍的原生 FP64 带宽奇偶层，而 Rubin 在 4% 内满足；B300 通过将其幸存的 INT32 SIMT 管道上的固定点重建，以约 14% 的余量满足 Kulisch INT32 子层；以及一个 fp8 张量核心层 η_fp8 ≥ 170 B_mem（在 8 TB/s 下约 1.36 PFLOPS），每个现代数据中心 GPU 都超过它 3–4 倍。fp8 层在所有地方都轻松满足，这是使本文的 FP8 仿真论点可行的悄悄不对称性：正是那些驱动 B300 FP64 崩溃的相同 FP8 张量核心，提供了以内存屋顶速度仿真 FP64 GEMM 所需的吞吐量。综合结果是，这里调查的每个 HPC 内核类在 B300 上都存在一条以全 fp64 精度达到内存屋顶的路径，前提是 Kulisch Phase B 内核已被工程化。  

我们强调，我们并未声称发明了 Ozaki 方案、基于 CRT 的 Ozaki II、fp8 适配或 cuBLAS 集成；这些归功于上述引用的作者（Ozaki II [31], fp8 变体 [37, 20], 误差分析 [32], cuBLAS 集成 [26], ADP 风格精度保证 [33]）。本文的新颖之处在于*跨领域性能模型*、*内存受限内核的应用准则*、§6 的*代际 H100 基线分析*，以及§7.1 的*端到端内核覆盖审查*，后者将本文的结果与同伴的 FFT 分析 [19] 相结合。  

#### 论点。  
综合发现——涵盖了上述五项贡献——支持本文标题中宣布的强烈论点：*在被调查的每个经典 HPC 内核类中，Ozaki II 仿真、Ozaki-Bailey + Kulisch Phase B FFT 以及针对约简的 FP32+Kahan 补偿的组合，使得 B300 在完全 fp64 精度下受带宽限制。