@FinanceYF5: 1/ Deeper large models aren't necessarily stronger. Kimi K3 uses AttnRes, DeepSeek V4 uses mHC, ByteDance proposes HC—a…

1/ Deeper large models aren’t necessarily stronger.

Kimi K3 uses AttnRes, DeepSeek V4 uses mHC, ByteDance proposes HC—all aiming to crack the “depth curse.”

But these methods differ in training budgets, model designs, and codebases, making direct comparisons impossible.

Which method truly works? DepthBench is starting to find answers👇

2/ 实验控制模型规模、数据和训练方法不变，只调整宽度与深度的比例。

研究覆盖 10 种残差设计，模型从“浅而宽”逐渐变成“深而窄”。

核心问题只有一个：当容量从宽度转向深度，哪些设计能让新增层真正发挥作用？ https://arxiv.org/abs/2609.32534

3/ 结果出现明显分化：

Pre-LN 和多数归一化、缩放方案很快触顶。模型继续变深后，收益先停滞，再倒退，最佳宽深比停留在 42.7 至 76.0。

HC 和 Full AttnRes 即使达到 9.1 的极端宽深比，模型维度 640、层数 70，预训练损失仍在下降。

4/ 这种优势在扩大模型规模后依然存在。

Full AttnRes 能持续把“有效深度”的边界向外推进。

HC 在小规模模型上也有类似表现，但规模增大后稳定性下降，对学习率等超参数更加敏感，这也解释了 mHC 为何要增强 HC 的大规模优化稳定性。

更深的 HC 和 Full AttnRes，在代码、STEM 和数学评测中同样获得提升。

5/ 在 AttnRes 和 HC、mHC 模型中，深层不再显得彼此相似。

Pre-LN 和多数归一化方案的表示会逐渐变得平滑、趋同。

HC 与 AttnRes 的各层表示则保持异质、独立且明显不平滑。

有效深度的关键，在于不同层执行结构化且差异化的计算。

6/ 这些活跃的深层确实会影响结果。

研究通过跳过层和打乱层顺序进行压力测试。

在 4 亿参数、32 层模型中，后期层强因果交互占比：

Pre-LN：1% Full AttnRes：16% HC：7%

打乱层顺序后分别为 8%、46% 和 35%。

Full AttnRes 与 HC 的后期层更难互换，也更具因果影响力。

7/ 两种方法，都让深度有效，但路径完全不同。

Full AttnRes 会“跨层检索”：每一层都能直接访问并重组多个早期层的输出，让早期计算直接影响最终预测。

HC 则会“沿深度路由”：每层混合 4 条残差流，再传给下一层，早期层只能通过残差流间接影响后续计算，最终预测主要由最后几层形成。

8/ 约束这些机制，也会带来隐藏成本。

Block AttnRes 将跨层访问限制在区块边界。模型变深后，前部可能出现越来越长的“无效区”，早期层反复退回嵌入表示。

mHC 通过双随机约束稳定 HC，但也可能压缩残差流的多样性，使深层方向逐渐趋于共线。

结构更稳定的同时，也可能删掉让深度真正有效的部分路径。

9/ 系统层面同样存在代价。

参数量相同，也不代表“深而窄”与“浅而宽”的实际计算成本相同。

在 4 亿参数实验中，宽深比从 76 降至 9.1 后：

Prefill 计算量从约 3.0 升至 4.4 TFLOPs/序列 KV Cache 内存增加超过一倍

模型更深后，硬件利用率下降，顺序执行也更难并行。

10/ 更大的结论是：

深度可能成为下一条重要的 Scaling 轴，但前提是采用正确的残差连接。

HC 和 Full AttnRes 已经证明，模型可以从深度中获得更强性能。

接下来的瓶颈，将从模型架构转向基础设施与 Kernel 优化。

Paper: https://arxiv.org/pdf/2609.32534

Code: https://github.com/keyu-wang-2002/DepthBench…

Model: https://huggingface.co/aspect-ratio-scaling…

That’s all, original author @Keyuciallo

If you like this topic:

1. Follow me (@FinanceYF5)
2. Like + repost the first post below