面向近无损HiF8 W8A8量化感知训练的最大窗口缩放估计

# 近无损HiF8 W8A8量化感知训练的最大窗口缩放估计
来源：https://arxiv.org/html/2605.26189

###### 摘要

使用低比特浮点格式的量化感知训练（QAT）能够实现高效的LLM部署，但会引入标准训练指标无法察觉的细微故障模式。本文通过*延迟张量缩放*（DTS）的视角，对OpenPangu-Embedded-1B的HiF8 W8A8 QAT进行了系统研究。在八个受控实验中，我们识别并分离出两种正交的故障模式：(i) *amax饱和*，即延迟的缩放估计通过前向传播截断悄悄破坏对知识敏感的表示；(ii) *灾难性遗忘*，即激进的训练率独立于量化行为覆盖预训练的常识知识。这两种模式都无法仅从训练损失中检测到。我们通过保守的*最大算法* DTS策略（采用64步历史窗口）来解决amax饱和问题，并通过500步的BF16预热后接学习率为10^{-5}的QAT来缓解遗忘问题。这两种修复方法缺一不可：最终配置与匹配的BF16基线相比，MMLU下降0.43%，HellaSwag下降0.58%，ARC-Challenge下降0.22%，并且在10,000步内训练损失APE仅为0.11%。

## I. 引言

在资源受限的环境（边缘设备、实时推理管道、内存有限的计算加速器）中部署大型语言模型（LLM），产生了对激进量化技术的迫切需求，这些技术需要在不牺牲模型质量的前提下减少权重存储和激活内存[4, 5, 6, 7]。在低比特宽度的格式家族中，8位浮点（FP8）表示已成为介于BF16/FP16精度与INT8/INT4效率之间的有前途的折中方案，提供了比定点替代方案更细粒度的硬件友好计算[8, 9]。HiF8（高精度浮点8）格式[1]通过基于数值大小引入分层尾数精度进一步推进了这一方向，为频繁出现的小值分配更多比特，同时仍能表示大异常值。

然而，使用FP8格式进行成功的量化感知训练（QAT）远非易事，特别是对于预训练语言模型。与从头训练不同，应用于预训练检查点的QAT必须同时实现两个目标：(i) 忠实保留预训练期间编码的知识，以及 (ii) 使模型的内部表示适应量化噪声[8]。这些目标以复杂且常常反直觉的方式相互作用。优化一个目标的配置可能会悄悄损害另一个目标——而且关键是，标准的训练时指标（如交叉熵损失）可能无法发出任何一种退化的信号。持续学习领域中已被充分记录的灾难性遗忘现象[11, 12]进一步加剧了这一挑战，其中在新数据上持续训练会覆盖先前学习到的表示。

参考说明图1：当前缩放 vs. 延迟缩放

FP8 QAT中的一个核心设计轴是*缩放策略*，它决定了用于将浮点数值映射到量化范围的逐张量缩放因子[8, 9]。*延迟逐张量缩放*（DTS）[1] 根据历史激活统计计算缩放因子，在观察到的最大绝对值（amax）与当前步应用的缩放因子之间引入了时间滞后。方程 (1) 和 (2) 形式化了应用于给定张量X的缩放过程。如图1所示，当前逐张量缩放（CTS）和延迟逐张量缩放（DTS）在缩放因子的获取方式上存在根本差异：CTS在缩放之前实时计算amax，从而引入了顺序依赖；而DTS在缩放操作的同时预测amax，有效消除了这种依赖。

```math
Scale = F8max / Amax  (1)
X_scaled = X * Scale = X * (F8max / Amax)  (2)
```

这种延迟在计算上是高效的——它避免了第二次前向传播——但使训练暴露于*amax饱和*：当当前步的真实激活最大值超过预测的缩放因子时，量化函数会将值裁剪到可表示的范围，从而破坏前向激活，而直通估计器（STE）[10]会传递梯度，就好像没有发生裁剪一样。amax估计算法（最近值、指数平滑或窗口最大值）及其超参数（历史长度、平滑因子）的选择，关键地决定了饱和事件是否发生，以及它们在数千步训练中如何累积。

在本文中，我们对基于DTS的HiF8 W8A8 QAT应用于OpenPangu-Embedded-1B[2]（一个10亿参数的预训练语言模型）进行了系统研究。通过一系列八个受控实验，我们做出了以下贡献：

1. 1.**两种正交故障模式的识别与分离**。我们证明HiF8 QAT中的基准退化源于两个独立来源：由DTS的时间滞后引起的*amax饱和*，以及由过于激进的训练率引起的*灾难性遗忘*。我们证明这些故障模式在训练损失中是*不可见的*——它们仅在下游评估中显现——并且每种模式都需要不同的修复方法。
2. 2.**通过最大窗口amax估计实现保守的DTS策略**。我们提议用*max-window* amax算法替换常用的*most_recent*和*exp_smooth* amax算法，该算法在64步历史窗口内维护运行最大值。这为观察窗口内的任何步数提供了对抗缩放诱导饱和的硬保证，代价是轻微过度保守，这在经验上起到了有益正则化的作用。
3. 3.**用于预训练模型QAT的两阶段训练协议**。我们在激活量化之前引入500步的BF16预热阶段，随后以降低的学习率10^{-5}进行QAT。预热允许模型达到稳定的权重状态，并用代表性值填充amax历史；降低的学习率防止了预训练常识知识的灾难性遗忘。
4. 4.**全面的故障分析**。我们不仅记录了有效的方法，还系统分析了所有八个实验中*哪些失败以及为什么失败*。我们表明*most_recent* amax遭受1步延迟饱和，*exp_smooth*在非单调激活动态下失败，而CTS（当前张量缩放）引入逐步波动，破坏了稳定的知识表示。我们进一步证明，学习率为10^{-4}的BF16训练导致MMLU下降16.7个百分点，与量化无关，确认了灾难性遗忘是主要的退化来源。

我们的最终配置实现了近乎无损的量化：与匹配的BF16基线相比，MMLU下降0.43%，HellaSwag下降0.58%，ARC-Challenge下降0.22%，并且在10,000步内训练损失APE仅为0.11%。重要的是，DTS修复或学习率降低单独作用均不够——缩放稳定性与学习动态之间的交互是HiF8 QAT的关键设计轴。

本文其余部分组织如下。第二部分讨论相关工作。第三部分回顾HiF8量化格式和DTS机制。第四部分详细介绍我们的量化配置和模块选择策略。第五部分呈现八次迭代的完整实验时间线。第六部分提供深入的故障模式分析。第七部分讨论关键设计决策及其理由。第八部分总结经验教训和未来方向。

## II. 背景：HiF8量化格式

HiF8（高精度浮点8）根据数值大小使用分层尾数精度，如表I所示。

**表 I: HiF8 精度层级**

设置 max\_val=15 将可表示的最大峰值映射到最高精度层级。量化采用 W8A8 方式：前向传播中权重和激活均被量化；反向传播中使用直通估计器（STE）量化梯度。

**缩放计算。** 逐张量的缩放因子计算如下：

```math
s = max\_val / a_hat_max  (3)
```

其中 a_hat_max 是张量最大绝对值的估计值。如果当前张量的真实最大值超过 max\_val / s，量化函数会将值裁剪到 ±max\_val，通过 STE 破坏梯度流。

**DTS vs. CTS。** 延迟张量缩放（DTS）根据历史数据计算 a_hat_max；当前张量缩放（CTS）使用当前步的 amax，需要第二次前向传播，但消除了时间延迟。

## III. 量化配置

### III-A 模型架构

OpenPangu-Embedded-1B 由 26 个 Transformer 块组成，隐藏尺寸为 1536，中间尺寸为 6144，12 个注意力头。总参数数约为 10 亿。

### III-B 模块选择策略

并非所有模块都被量化。表 II 总结了哪些组件被量化以及哪些保持 BF16。

**表 II: 每个 Transformer 块的量化覆盖范围**

注意力投影保持 BF16，因为它们处理包含大异常值的激活（这在 Transformer 注意力中很常见[4]），并且对 softmax 分布偏移敏感。MLP 层主导总 FLOPs，并且在 QAT 下恢复良好。

### III-C 块级高精度层

当 `high_precision_layers=5` 时，前 `⌈5/2⌉=3` 个块（索引 0–2）和后 `⌊5/2⌋=2` 个块（索引 24–25）完全保持 BF16。其余 21 个块的 MLP Linear 层被替换为 HiF8Linear，如图 2 所示。

```
BF16 (0–2) | HiF8 W8A8 (blocks 3–23) | BF16 (24–25)
3 blocks   | 21 blocks                | 2 blocks
```

**图 2: 26 个 Transformer 块的块级量化布局。列宽与块数成比例。灰色：完全 BF16。蓝色：MLP 层量化为 HiF8 W8A8。**

### III-D 总量化参数

每个量化的 MLP 块包含三个形状为 1536×6144 的 Linear 层（gate/up_proj）和一个形状为 6144×1536 的层（down_proj），每个块总计约 3 × 1536 × 6144 ≈ 28.3M 参数。

```math
N_quant = 21 × 3 = 63 个 Linear 层  (4)
21 × 28.3M ≈ 594M 参数  (5)
```

这代表大约 60% 的模型总参数量化为 HiF8 W8A8，而其余的 40%（注意力投影、嵌入、归一化、边界块）保持 BF16。

## IV. 实验时间线

除非另有说明，所有实验均在 FineWeb-sample-10BT[3] 上进行，全局批次大小为 1024，序列长度为 1024，步数为 10,000。硬件：8 × GPU 80 GB。

### Amax 估计算法

所有量化实验中的一个核心设计变量是 amax 估计算法的选择，它决定了方程 (3) 中的 a_hat_max。我们在 DTS 框架下评估了三种策略，以及作为参考的 CTS：

- •**most_recent (DTS)**。设置 a_hat_max^{(t)} = amax^{(t-1)}，即在上一步观察到的 amax。配置：history_len=30，每一步更新。简单且低开销，但引入了 1 步滞后：如果当前张量的真实最大值超过了上一步的 amax，就会发生饱和。
- •**exp_smooth (DTS)**。维护运行指数移动平均：a_hat_max^{(t)} = α·amax^{(t-1)} + (1-α)·a_hat_max^{(t-2)}。配置：history_len=30（后来扩展），每一步更新。对于单调递增的 amax 轨迹，比 most_recent 更保守，但当张量分布非单调时（例如，MLP 层的激活后峰值），可能低估 amax。
- •**max (DTS)**。在最接近的 H 步上设置 a_hat_max^{(t)} = max(amax^{(t-1)}, ..., amax^{(t-H)})。配置：history_len=64，在激活量化前进行 500 步 BF16 预热，每一步更新。提供硬保证，即没有历史 amax 会引起饱和，代价是轻微过度保守（实际上提高了缩放分母，略微降低了量化分辨率）。
- •**CTS (most_recent, current-step)**。从*当前*步的激活计算 amax，需要第二次前向传播。原则上消除了 DTS 的时间延迟，但使量化暴露于没有历史平滑的逐步 amax 波动。

我们总共进行了八个实验，分为三个阶段：

- •**第一阶段 — 基线和可行性（实验 1–2）**。实验 1 建立了 BF16 继续预训练基线，并确定了安全学习率（10^{-4}）。实验 2 使用小批次（256）、短运行（5,000 步）的探针，使用 amax_algo=most_recent 验证量化可行性，确认训练损失看似稳定，但下游精度未经测试。
- •**第二阶段 — Amax 算法搜索（实验 3–6，全部 lr=10^{-4}）**。四次完整运行（10,000 步，批次大小 1024）系统性比较了 amax 估计策略：实验 3 使用带 most_recent (history=30) 的 DTS；实验 4 使用带 exp_smooth (history=30) 的 DTS；实验 5 使用带 most_recent 的 CTS；实验 6 使用带 exp_smooth (扩展历史) 的 DTS。所有四次运行均超过 1% ARC 下降阈值，导致诊断出在 lr=10^{-4} 下*灾难性遗忘*是主要问题。
- •**第三阶段 — 组合修复（实验 7–8）**。实验 7 引入 amax_algo=max，history=64，以及在 lr=10^{-4} 下进行 500 步 BF16 预热，修复了 MMLU 但未修复 ARC。实验 8（最终提交）保留实验 7 的所有设置并将学习率降至 10^{-5}，同时解决了两种故障模式。

### IV-A 实验 1 — BF16 基线校准

配置：lr=2×10^{-3} 降至 10^{-4}；无量化。

观察：lr=2×10^{-3} 导致训练不稳定，早期步骤出现损失峰值。降至 10^{-4} 后训练稳定；最终损失 4.3789。

经验：对于已经预训练的模型，继续预训练的学习率必须仔细调整。

### IV-B 实验 2 — CTS 和 DTS-MR，小批次

配置：HiF8 W8A8，amax_algo=most_recent，批次大小 256，4 个 GPU，仅 5,000 步。

观察：使用 most_recent 的 CTS 和 DTS 均产生稳定的损失（在第 5,000 步为 4.3235），几乎与 BF16 相同。# 近无损HiF8 W8A8量化感知训练的最大窗口缩放估计
来源：https://arxiv.org/html/2605.26189

###### 摘要

使用低比特浮点格式的量化感知训练（QAT）能够实现高效的LLM部署，但会引入标准训练指标无法察觉的细微故障模式。本文通过*延迟张量缩放*（DTS）的视角，对OpenPangu-Embedded-1B的HiF8 W8A8 QAT进行了系统研究。在八个受控实验中，我们识别并分离出两种正交的故障模式：(i) *amax饱和*，即延迟的缩放估计通过前向传播截断悄悄破坏对知识敏感的表示；(ii) *灾难性遗忘*，即激进的训练率独立于量化行为覆盖预训练的常识知识。这两种模式都无法仅从训练损失中检测到。我们通过保守的*最大算法* DTS策略（采用64步历史窗口）来解决amax饱和问题，并通过500步的BF16预热后接学习率为10^{-5}的QAT来缓解遗忘问题。这两种修复方法缺一不可：最终配置与匹配的BF16基线相比，MMLU下降0.43%，HellaSwag下降0.58%，ARC-Challenge下降0.22%，并且在10,000步内训练损失APE仅为0.11%。

## I. 引言

在资源受限的环境（边缘设备、实时推理管道、内存有限的计算加速器）中部署大型语言模型（LLM），产生了对激进量化技术的迫切需求，这些技术需要在不牺牲模型质量的前提下减少权重存储和激活内存[4, 5, 6, 7]。在低比特宽度的格式家族中，8位浮点（FP8）表示已成为介于BF16/FP16精度与INT8/INT4效率之间的有前途的折中方案，提供了比定点替代方案更细粒度的硬件友好计算[8, 9]。HiF8（高精度浮点8）格式[1]通过基于数值大小引入分层尾数精度进一步推进了这一方向，为频繁出现的小值分配更多比特，同时仍能表示大异常值。

然而，使用FP8格式进行成功的量化感知训练（QAT）远非易事，特别是对于预训练语言模型。与从头训练不同，应用于预训练检查点的QAT必须同时实现两个目标：(i) 忠实保留预训练期间编码的知识，以及 (ii) 使模型的内部表示适应量化噪声[8]。这些目标以复杂且常常反直观的方式相互作用。优化一个目标的配置可能会悄悄损害另一个目标——而且关键是，标准的训练时指标（如交叉熵损失）可能无法发出任何一种退化的信号。持续学习领域中已被充分记录的灾难性遗忘现象[11, 12]进一步加剧了这一挑战，其中在新数据上持续训练会覆盖先前学习到的表示。

参考说明图1：当前缩放 vs. 延迟缩放

FP8 QAT中的一个核心设计轴是*缩放策略*，它决定了用于将浮点数值映射到量化范围的逐张量缩放因子[8, 9]。*延迟逐张量缩放*（DTS）[1] 根据历史激活统计计算缩放因子，在观察到的最大绝对值（amax）与当前步应用的缩放因子之间引入了时间滞后。方程 (1) 和 (2) 形式化了应用于给定张量X的缩放过程。如图1所示，当前逐张量缩放（CTS）和延迟逐张量缩放（DTS）在缩放因子的获取方式上存在根本差异：CTS在缩放之前实时计算amax，从而引入了顺序依赖；而DTS在缩放操作的同时预测amax，有效消除了这种依赖。

```math
缩放因子 = F8最大值 / Amax  (1)
X缩放后 = X * 缩放因子 = X * (F8最大值 / Amax)  (2)
```

这种延迟在计算上是高效的——它避免了第二次前向传播——但使训练暴露于*amax饱和*：当当前步的真实激活最大值超过预测的缩放因子时，量化函数会将值裁剪到可表示的范围，从而破坏前向激活，而直通估计器（STE）[10]会传递梯度，就好像没有发生裁剪一样。amax估计算法（最近值、指数平滑或窗口最大值）及其超参数（历史长度、平滑因子）的选择，关键地决定了饱和事件是否发生，以及它们在数千步训练中如何累积。

在本文中，我们对基于DTS的HiF8 W8A8 QAT应用于OpenPangu-Embedded-1B[2]（一个10亿参数的预训练语言模型）进行了系统研究。通过一系列八个受控实验，我们做出了以下贡献：

1. 1.**两种正交故障模式的识别与分离**。我们证明HiF8 QAT中的基准退化源于两个独立来源：由DTS的时间滞后引起的*amax饱和*，以及由过于激进的训练率引起的*灾难性遗忘*。我们证明这些故障模式在训练损失中是*不可见的*——它们仅在下游评估中显现——并且每种模式都需要不同的修复方法。
2. 2.**通过最大窗口amax估计实现保守的DTS策略**。我们提议用*最大窗口* amax算法替换常用的*最近值*和*指数平滑* amax算法，该算法在64步历史窗口内维护运行最大值。这为观察窗口内的任何步数提供了对抗缩放诱导饱和的硬保证，代价是轻微过度保守，这在经验上起到了有益正则化的作用。
3. 3.**用于预训练模型QAT的两阶段训练协议**。我们在激活量化之前引入500步的BF16预热阶段，随后以降低的学习率10^{-5}进行QAT。预热允许模型达到稳定的权重状态，并用代表性值填充amax历史；降低的学习率防止了预训练常识知识的灾难性遗忘。
4. 4.**全面的故障分析**。我们不仅记录了有效的方法，还系统分析了所有八个实验中*哪些失败以及为什么失败*。我们表明*最近值* amax遭受1步延迟饱和，*指数平滑*在非单调激活动态下失败，而CTS（当前张量缩放）引入逐步波动，破坏了稳定的知识表示。我们进一步证明，学习率为10^{-4}的BF16训练导致MMLU下降16.7个百分点，与量化无关，确认了灾难性遗忘是主要的退化来源。

我们的最终配置实现了近乎无损的量化：与匹配的BF16基线相比，MMLU下降0.43%，HellaSwag下降0.58%，ARC-Challenge下降0.22%，并且在10,000步内训练损失APE仅为0.11%。重要的是，DTS修复或学习率降低单独作用均不够——缩放稳定性与学习动态之间的交互是HiF8 QAT的关键设计轴。

本文其余部分组织如下。第二部分讨论相关工作。第三部分回顾HiF8量化格式和DTS机制。第四部分详细介绍我们的量化配置和模块选择策略。第五部分呈现八次迭代的完整实验时间线。第六部分提供深入的故障模式分析。第七部分讨论关键设计决策及其理由。第八部分总结经验教训和未来方向。

## II. 背景：HiF8量化格式

HiF8（高精度浮点8）根据数值大小使用分层尾数精度，如表I所示。

**表 I: HiF8 精度层级**

设置 max_val=15 将可表示的最大峰值映射到最高精度层级。量化采用 W8A8 方式：前向传播中权重和激活均被量化；反向传播中使用直通估计器（STE）量化梯度。

**缩放计算。** 逐张量的缩放因子计算如下：

```math
s = max_val / a_hat_max  (3)
```

其中 a_hat_max 是张量最大绝对值的估计值。如果当前张量的真实最大值超过 max_val / s，量化函数会将值裁剪到 ±max_val，通过 STE 破坏梯度流。

**DTS vs. CTS。** 延迟张量缩放（DTS）根据历史数据计算 a_hat_max；当前张量缩放（CTS）使用当前步的 amax，需要第二次前向传播，但消除了时间延迟。

## III. 量化配置

### III-A 模型架构

OpenPangu-Embedded-1B 由 26 个 Transformer 块组成，隐藏尺寸为 1536，中间尺寸为 6144，12 个注意力头。总参数数约为 10 亿。

### III-B 模块选择策略

并非所有模块都被量化。表 II 总结了哪些组件被量化以及哪些保持 BF16。

**表 II: 每个 Transformer 块的量化覆盖范围**

注意力投影保持 BF16，因为它们处理包含大异常值的激活（这在 Transformer 注意力中很常见[4]），并且对 softmax 分布偏移敏感。MLP 层主导总 FLOPs，并且在 QAT 下恢复良好。

### III-C 块级高精度层

当 `high_precision_layers=5` 时，前 `⌈5/2⌉=3` 个块（索引 0–2）和后 `⌊5/2⌋=2` 个块（索引 24–25）完全保持 BF16。其余 21 个块的 MLP Linear 层被替换为 HiF8Linear，如图 2 所示。

```
BF16 (0–2) | HiF8 W8A8 (blocks 3–23) | BF16 (24–25)
3 blocks   | 21 blocks                | 2 blocks
```

**图 2: 26 个 Transformer 块的块级量化布局。列宽与块数成比例。灰色：完全 BF16。蓝色：MLP 层量化为 HiF8 W8A8。**

### III-D 总量化参数

每个量化的 MLP 块包含三个形状为 1536×6144 的 Linear 层（gate/up_proj）和一个形状为 6144×1536 的层（down_proj），每个块总计约 3 × 1536 × 6144 ≈ 28.3M 参数。

```math
N_量化 = 21 × 3 = 63 个 Linear 层  (4)
21 × 28.3M ≈ 594M 参数  (5)
```

这代表大约 60% 的模型总参数量化为 HiF8 W8A8，而其余的 40%（注意力投影、嵌入、归一化、边界块）保持 BF16。

## IV. 实验时间线

除非另有说明，所有实验均在 FineWeb-sample-10BT[3] 上进行，全局批次大小为 1024，序列长度为 1024，步数为 10,000。硬件：8 × GPU 80 GB。

### Amax 估计算法

所有量化实验中的一个核心设计变量是 amax 估计算法的选择，它决定了方程 (3) 中的 a_hat_max。我们在 DTS 框架下评估了三种策略，以及作为参考的 CTS：

- •**最近值 (DTS)**。设置 a_hat_max^{(t)} = amax^{(t-1)}，即在上一步观察到的 amax。配置：history_len=30，每一步更新。简单且低开销，但引入了 1 步滞后：如果当前张量的真实最大值超过了上一步的 amax，就会发生饱和。
- •**指数平滑 (DTS)**。维护运行指数移动平均：a_hat_max^{(t)} = α·amax^{(t-1)} + (1-α)·a_hat_max^{(t-2)}。配置：history_len=30（后来扩展），每一步更新。对于单调递增的 amax 轨迹，比最近值更保守，但当张量分布非单调时（例如，MLP 层的激活后峰值），可能低估 amax。
- •**最大值 (DTS)**。在最接近的 H 步上设置 a_hat_max^{(t)} = max(amax^{(t-1)}, ..., amax^{(t-H)})。配置：history_len=64，在激活量化前进行 500 步 BF16 预热，每一步更新。提供硬保证，即没有历史 amax 会引起饱和，代价是轻微过度保守（实际上提高了缩放分母，略微降低了量化分辨率）。
- •**CTS (最近值, 当前步)**。从*当前*步的激活计算 amax，需要第二次前向传播。原则上消除了 DTS 的时间延迟，但使量化暴露于没有历史平滑的逐步 amax 波动。

我们总共进行了八个实验，分为三个阶段：

- •**第一阶段 — 基线和可行性（实验 1–2）**。实验 1 建立了 BF16 继续预训练基线，并确定了安全学习率（10^{-4}）。实验 2 使用小批次（256）、短运行（5,000 步）的探针，使用 amax_algo=最近值 验证量化可行性，确认训练损失看似稳定，但下游精度未经测试。
- •**第二阶段 — Amax 算法搜索（实验 3–6，全部 lr=10^{-4}）**。四次完整运行（10,000 步，批次大小 1024）系统性比较了 amax 估计策略：实验 3 使用带最近值 (history=30) 的 DTS；实验 4 使用带指数平滑 (history=30) 的 DTS；实验 5 使用带最近值的 CTS；实验 6 使用带指数平滑 (扩展历史) 的 DTS。所有四次运行均超过 1% ARC 下降阈值，导致诊断出在 lr=10^{-4} 下*灾难性遗忘*是主要问题。
- •**第三阶段 — 组合修复（实验 7–8）**。实验 7 引入 amax_algo=最大值，history=64，以及在 lr=10^{-4} 下进行 500 步 BF16 预热，修复了 MMLU 但未修复 ARC。实验 8（最终提交）保留实验 7 的所有设置并将学习率降至 10^{-5}，同时解决了两种故障模式。

### IV-A 实验 1 — BF16 基线校准

配置：lr=2×10^{-3} 降至 10^{-4}；无量化。

观察：lr=2×10^{-3} 导致训练不稳定，早期步骤出现损失峰值。降至 10^{-4} 后训练稳定；最终损失 4.3789。

经验：对于已经预训练的模型，继续预训练的学习率必须仔细调整。

### IV-B 实验 2 — CTS 和 DTS-MR，小批次

配置：HiF8 W8A8，amax_algo=最近值，批次大小 256，4 个 GPU，仅 5,000 步。

观察：使用最近值的 CTS 和 DTS 均产生稳定的损失（在第 5,000 步为 4.3235），几乎与 BF16 相同。