微信 WeLM 团队的这篇论文至少透露了两种模型规模：80B 和 617B。每种规模分别包含普通版与 HD4 版，即 WeLM-80B、WeLM-HD4-80B、WeLM-617B 和 WeLM-HD4-617B。

其中，WeLM-617B 是旗舰基础模型，总参数量为 617B，采用 MoE 架构，推理时只激活部分参数。WeLM-HD4-617B 则是在相同的 617B Transformer Backbone 上引入 Hidden Decoding，也是目前最值得关注的版本。论文显示，HD4 版本在九项共同基准测试中均优于对应的普通版本。

微信模型团队探索了一条不同于单纯堆参数规模的 Scaling 路线：不增加 Transformer 的层数或宽度，将每个 Token 扩展为四个隐藏流，为每个 Token 分配更多内部计算，从而在保持骨干网络基本不变的情况下继续提升模型能力。这是 Hidden Decoding 的核心思想。

够用就行，但要好用。注意这不是 WeLM 的评测跑分。

https://welm.weixin.qq.com/posts/hidden_decoding_at_scale/…

Hidden Decoding at Scale：面向前沿大模型的潜空间计算扩展 | WeLM Blog

Source: https://welm.weixin.qq.com/posts/hidden_decoding_at_scale/ 本页目录- 前沿规模 MoE 结果

• 方法回顾与新增设计- 多流扩展与训练目标 - Stream-Factorized Attention - KV保留 与 KV-mirror 加速
• 计算成本- 训练成本近线性 - 推理吞吐
• 消融与可解释性- 注意力组合消融 - KV 保留消融 - Stream 与 LM-head 探针
• 结论与展望

在上一篇博客中，我们介绍了 Hidden Decoding 的核心思想：在不增加 Transformer 主体参数的前提下，通过复制多份 Vocab Embedding 将序列长度扩展 n 倍，使每个 token 在单次前向传播中获得 n 倍的有效计算量，并在 6B、8B 以及 80B 等多个规模上验证了 loss 下降与评测提升。本文是它的进阶篇：我们把 Hidden Decoding 推进到前沿规模（100B+ MoE），训练出 WeLM-HD4-80B 与 WeLM-HD4-617B（n=4），在完全对齐的对照实验中全面超过各自的自回归基线，并给出让这一方法在超大模型上真正可训、可服务的关键工程设计。本工作的正式论文见Tencent/Sequential-Hidden-Decoding。

以下是本文的两个核心结论：

1. 前沿规模的训练扩展：据我们所知，这是首个在 100B+ MoE 规模、通过继续预训练（CPT）实现的序列长度扩展（sequence-length scaling），这一规模是此前的深度循环（looped）或长度扩展方法难以触及的。
2. Stream-Factorized Attention 让扩展在大模型上可训：多数层只在同一条 stream 内做注意力、仅少数层跨 stream 混合，把扩展带来的注意力开销从 O\(n^2\) 降到接近线性，从而让 Hidden Decoding 得以在 100B+ MoE 上以可接受的训练与服务成本落地。

图 1：左：Hidden Decoding 把每个 token 沿序列展开为多条 stream（图示扩展倍率为 2），单次前向处理，仅在每个 token 的最后一条 stream（E\_2/h\_2）计算损失，前面的 stream（E\_1/h\_1）作为潜空间中间计算、不计损失；右：WeLM-HD4-80B 与 WeLM-HD4-617B 在相同的早期 SFT-only 后训练下，相对各自匹配的自回归基线（WeLM-80B / WeLM-617B）的提升幅度 \\Delta

前沿规模 MoE 结果

为检验 Hidden Decoding 能否强化我们部署的最大模型，我们对每个 WeLM MoE checkpoint 比较两种形态——除 Hidden Decoding 外一切相同：WeLM-80B （3B激活）vs. WeLM-HD4-80B、WeLM-617B （23B激活）vs. WeLM-HD4-617B。两者随后用同一套早期 SFT-only 后训练配方（短 SFT、无 RL）适配，因此这是一个对Hidden Decoding 方法的单变量消融。

Benchmark80B MoE617B MoEExternalWeLM-80BWeLM-HD4-80BWeLM-617BWeLM-HD4-617BKimi K2.6 (1T-A32B)GPQA Diamond87.688.889.191.290.4HLE†27.428.433.635.436.9MMMLU84.485.686.487.588.0FrontierMath*45.849.049.051.053.2PHYBench69.873.875.376.374.0MathArena Apex16.420.124.224.723.8HMMT‡93.394.196.096.296.0IMO-AnswerBench85.085.387.588.591.5SciCode45.850.051.452.150.7 表 1：早期 SFT-only 结果。每个 WeLM-HD4 模型（高亮）都与其匹配的自回归对照在同一套短 SFT 配方（无 RL）下比较；HD4 表示 n=4 的 Hidden Decoding，每 token 的激活 Transformer 参数保持不变（80B 为 3B，617B 为 23B）。Kimi K2.6 作为主流前沿模型的绝对分参照列出。本表所有数字均为自测结果。*FrontierMath 使用公开的 Tiers 1–4 样例题（epoch.ai/frontiermath/tiers-1-4/benchmark-problems）。†HLE 为 no-tools、text-only 设置。‡HMMT 为 2025 年 2 月、2025 年 11 月与 2026 年 2 月三个测试集的加权平均。

Hidden Decoding 在两个规模上都提升了全部九个共享 benchmark。最大的收益出现在困难的数学与科学任务上：WeLM-HD4-80B 在 SciCode +4.2、PHYBench +4.0、FrontierMath +3.2；WeLM-HD4-617B 在 GPQA Diamond +2.1、HLE +1.8。我们同时列出相同测试setting下对 Kimi K2.6（1T 总参、32B 激活）的测试结果作为主流前沿模型的绝对分参照 (Moonshot AI 2026)：WeLM-HD4-617B 在 GPQA Diamond、PHYBench、MathArena Apex、HMMT、SciCode 上更高。这些结果表明 Hidden Decoding 可以扩展到前沿规模的 MoE 并在不增加主干参数的情况下提升它，而这正是循环模型难以施展的规模区间。

我们将 WeLM-HD4-617B-Base 的基座放到外部模型的基座参照中。我们主要关注同一主干、同数据、同训练配置下的「自回归 vs. HD」对比。

BenchmarkWeLM-617B-BaseWeLM-HD4-617B-BaseDS-V3.2 671B-A37BK2 1T-A32BQwen3.5 397B-A17BMMLU89.8090.4088.1187.3888.61MMLU-Pro71.0072.8062.8267.6476.01MMLU-Redux89.8190.9487.2986.6589.09SuperGPQA55.7057.6043.4644.8657.96C-Eval92.2092.8090.4891.8291.82BBH92.4193.0786.0389.1190.98KoRBench52.0854.8854.0053.8454.08CRUX-Input86.0091.7563.2570.5071.13CRUX-Output89.3891.1373.8877.1382.38 表 2：基座模型参照。WeLM 各列采用我们在指令微调或 RL 之前的基座模型评测协议；其中匹配的 WeLM-617B-Base vs. WeLM-HD4-617B-Base 给出受控的「自回归 vs. HD」对比，外部数字则摘自 Qwen3.5 报告的基座模型表格 (Qwen Team 2026)，用于提供绝对分参照。

在后训练之前，Hidden Decoding 就已在两个规模上带来收益：full-suite 平均在 80B 上 +0.99、在 617B 上 +1.03，较大的提升出现在 SuperGPQA、MMLU-Pro 等更难的推理与知识任务上，并在相同的轻量后训练后得以保持。

方法回顾与新增设计

多流扩展与训练目标

给定输入序列 X=\(x\_1,\\dots,x\_L\) 与 n 个 embedding 表 E\_1,\\dots,E\_n，我们在物理位置 t=\(i\-1\)n\+k 处放入第 i 个 token 的第 k 条 stream 表征，构成长度为 nL 的扩展序列： S\_t = E\_k\(x\_i\), \\quad 1 \\le i \\le L,\\ 1 \\le k \\le n\. 扩展序列在标准因果注意力与连续 RoPE 位置下送入同一个 Transformer。训练时只监督每个 token 的最后一条 streamE\_n\(x\_i\)：从它的隐状态经共享 LM Head 预测 x\_\{i\+1\}，前 n\-1 条 stream 不接收任何直接损失，充当逐步精炼表征的「潜空间中间计算」。关于「仅监督最后一流」相对 all-token loss / sum 的优势，以及周期性复制初始化（Cyclic Replication Initialization）的渐进式扩展 1\\to2\\to4\\to8，详见上一篇博客。

Stream-Factorized Attention

保留所有层的跨 stream full attention 会让注意力成本按 O\(n^2\) 增长，对长序列的大模型而言训练不可行。为此我们提出Stream-Factorized Attention：让大多数层只在同一条 stream 内做注意力，只有少数层跨 stream 混合。

对扩展序列中的位置 t，定义其 token 索引与 stream 索引： i\(t\)=\\lceil t/n \\rceil, \\quad s\(t\)=\(t\-1\)\\bmod n \+ 1\. 据此，intra-stream 层只关注同一条 stream 中更早的位置，成本为 O\(nL^2\)；cross-stream 层则额外跨 stream 关注，沿用基座模型原本的注意力形态（滑动窗口，或在基座使用全注意力时为全注意力）。

图 2：Stream-Factorized Attention 的三种注意力掩码。(a) full cross-stream 层用标准因果（下三角）掩码；(b) local cross-stream 层用因果滑动窗口掩码；(c) intra-stream 层在每条 stream 内因果、stream 之间互不可见。大多数层为 (c)，仅少数层启用 (a) 或 (b) 的跨 stream 混合。

设计上，绝大多数层为 intra-stream，只有一小部分层启用cross-stream 注意力，而且不新增注意力层：我们对全部的local attention 层与一小部分full attention层启用cross-stream 注意力。由于避免了在整条 nL 序列上做稠密注意力，新增的注意力成本从 n^2 量级降到接近线性的 n 量级——这正是让 Hidden Decoding 能在 100B+ MoE 上训练的关键。此外，这种「大多数层保持单流因果路径、仅少数层引入跨 stream 扰动」的布局，也让 CPT 更贴近起始的自回归 checkpoint，起步更平滑。

KV保留 与 KV-mirror 加速

保留中间流 KV：Hidden Decoding 默认为每条 stream 保留独立的 KV 缓存，后续位置因此能利用更早的中间 stream 产生的计算。我们在消融与可解释性章节中进行了消融。此外，我们通过引入 stream parallel 将 intra-stream KV sharding 到不同 rank 上，降低了 KV 的存储与访存压力。

KV-mirror加速训练：我们的 WeLM 主干采用 KV-mirror 设计 (WeChat AI 2026)——后段的每一层不再从本层输入计算 K/V，而是复用前段某一层的隐状态（层间以 U 形配对，后 1/3 层镜像前 1/3 层）。由于镜像层的 K/V 只依赖早期层的隐状态，而且只有最后一条 stream 被监督、中间 stream 只通过它们贡献的 K/V 起作用，在镜像层里这部分上下文早已由前段固定，中间 stream 无需再被处理。因此我们只让最后一条 stream 通过镜像层，前段层仍处理全部 n 条 stream。在 80B、32k 训练设置下，该优化把单 batch 时间从 15s 降到 12s（约 20% 提升，1.25×）。这一节省是 WeLM 特有的，叠加在 Stream-Factorized Attention 已提供的近线性成本之上。

计算成本

训练成本近线性

把每个 token 扩展成 n 条 stream，会把长度 L 的序列变成 nL：非注意力计算大致随位置数线性增长，而稠密注意力会按 O\(n^2\) 膨胀。Stream-Factorized Attention 通过让大多数full attention层保持 intra-stream，避免了这种膨胀，使注意力成本接近 n 的线性。

图 3：n=4 时 HD 相对未扩展基线的单 batch 训练时间：80B（256k→1M）为 5.1×、617B（32k→128k）为 4.4×，接近线性参考（n=4\\times），远低于稠密注意力的 n^2=16\\times。

实测印证了上述分析：4\\times 的有效序列在 80B 上花费 5.1×、在 617B 上花费 4.4×，接近 4\\times 线性参考，远低于 16\\times 的稠密注意力。这一近线性成本，正是 WeLM-HD4-617B 可训练的前提。

更重要的是，HD4 并非从零训练，而是在已有的自回归基座 checkpoint 上做增量续训：它只在 HD 起点之后继续训练，无需重跑完整的 8k 预训练阶段。因此，计入 HD 起点之后的训练 token 后，HD4 的总训练成本远低于从零训练完整自回归基座——80B 为 1.07T vs. 20.39T，617B 为 0.90T vs. 17.06T。

ScaleRunHD start tokens8k pretrain32k continuation256k continuationTotal80BWeLM-80B-Base–17.81T2.01T0.57T20.39T80BWeLM-HD4-80B-Base19.32T00.50T0.57T1.07T617BWeLM-617B-Base–14.25T2.20T0.61T17.06T617BWeLM-HD4-617B-Base15.86T00.59T0.30T0.90T 表 5：自回归基座路径与 HD4 续训窗口的训练 token 预算。自回归行统计完整的基座模型训练路径；HD4 行只统计 HD 起点之后的训练。

推理吞吐

相比循环模型，Hidden Decoding 的一大优势是其额外计算是并行的：循环模型逐步重复主干、每步都要等上一步，额外成本无法隐藏；Hidden Decoding 把计算摊到 n 条 stream 上，一次前向并行处理。大 batch 下解码是计算受限的，额外计算会降低吞吐（任何增加计算的方法都如此）；但小 batch 下解码受显存带宽限制、计算大量闲置，并行 stream 恰好利用这些空闲算力。

图 4：WeLM-HD4-80B 的服务吞吐矩阵。每格为 Hidden Decoding 相对匹配的 WeLM-80B 基线（关闭 stream 扩展）的解码完成吞吐（%），在同一输入长度桶与 batch size 下、5 次运行的均值（小字为样本标准差，单位 pp）；两者在同样的 8×H20 上运行，排除 prefill。

消融与可解释性

Hidden Decoding 依赖一个不寻常的选择：只训练最后一条 stream 预测下一个 token，前面的 stream 不接收任何直接损失。主结果说明这一选择能提升准确率，但仅凭准确率还不足以说明中间 stream 究竟起了什么作用——收益可能只是来自更长的序列、更多的预测目标或对 stream 输出的显式聚合。我们用消融与探针来区分这些可能。

注意力组合消融

Stream-Factorized Attention 通过限制昂贵的 full cross-stream 混合来降本，因此我们需要检验：为达到好的准确率，究竟需要多少 full 混合。在 21B MoE（27 层）上，我们让 Hidden Decoding 的三种变体只在「使用多少 full cross-stream 层」上不同（全部 27 层、4 层、1 层），其余层在 local 与 intra-stream 间分配，参照为无扩展的自回归基线。

BenchmarkBaselineHidden DecodingSF (1 full)SF (4 full)all-full (27)MMLU74.175.776.476.3MMLU-Pro47.550.449.850.7CMMLU77.979.279.879.6C-Eval78.678.979.279.7ARC-C89.589.890.790.9SuperGPQA34.135.435.736.0BBH67.071.272.072.8GSM8K83.486.286.786.2MATH45.249.649.350.3SimpleQA3.74.03.64.1AA-OmniScience12.712.414.214.1HumanEval+37.437.639.240.5MBPP+55.256.157.859.1Overall (13 tasks)54.3355.8856.4956.95 表 3：注意力组合消融（21B MoE）。所有 Hidden Decoding 变体都大幅超过无扩展的自回归基线，其中仅用 1 层或 4 层 full 注意力的 Stream-Factorized（SF）变体已接近 all-full 配置。表头括号内为 full 注意力层数（共 27 层）；总体平均为表中所列 13 个 benchmark 的均值。每行最优值以粗体标出。

每个 Hidden Decoding 模型都大幅超过自回归基线（总体提升 +1.55 ~ +2.62）。all-full 最好，但更便宜的 4-full 与 1-full 变体恢复了大部分收益（+2.16 与 +1.55）。少数几层 full 就足够了：其余跨 stream 混合可以是局部的、甚至跳过，这让 Stream-Factorized Attention 在保住大部分准确率收益的同时保持廉价。

KV 保留消融

在 KV 保留上，我们在 21B MoE、n=2 上做一个定性对照：把 per-stream KV 换成 shared KV（保留最后一流预测目标与各自 stream 轨迹，但在 intra-stream 层用一份共享 KV）。结果显示 shared KV 在两种布局下都拉低平均分（SF-1full：69.00 → 68.59；SF-4full：69.46 → 69.06），说明为不同 stream 保留独立 KV 状态确有帮助。

Full layersKV typeFew-shot accuracyAvgARCEEGPQAMMLUMMLU-ProQA-MMLUSuperGPQA1Per-stream91.5054.1774.6248.8380.9035.3669.00Shared91.0153.1974.2446.6081.0734.6368.594Per-stream92.3254.9575.2447.8282.1135.5069.46Shared91.2853.3274.4147.9081.1535.3569.06 表 4：小规模 KV 保留消融（21B MoE，HD n=2）。定性检验 stream 独立 KV 是否重要。准确率各列为 few-shot accuracy（百分比，越高越好）；Avg 为全部九个 few-shot 任务的平均。在两种布局下 per-stream KV 的平均分均高于 shared KV。

Stream 与 LM-head 探针

为把上述准确率效应与内部计算联系起来，我们在训练好的 Qwen3-8B-Base + Hidden Decoding（n=8，E7 为最终预测流、E0–E6 为中间流）上做探针，得到两点一致的结论。

**其一，中间流形成了不同的内部状态，并被最终流读取。**同一 token 的各 stream 在 Transformer 中间层显著分化、临近输出层又部分靠拢（平均余弦 0.987→0.637→0.783），且始终高于不同 token 的基线；同时最终流 E7 对其他 stream（尤其 E0，峰值 0.52）分配了可观的注意力，构成从中间流到预测流的读取通路（图 5）。

图 5：Qwen3-8B-Base + Hidden Decoding（n=8）的探针。(a) 同一 token 各 stream 的隐状态余弦相似度随 Transformer 层的变化（虚线为不同 token 的基线）；(b) 最终流 E7 对各 stream 的注意力占比。

**其二，在词表空间上，中间流保留了比最终流更宽的候选分布。**把共享 LM Head 施加到各 stream 时，中间流的 top-1 token 常与 E7 不同（最大差异率约 63%），且其 probe 熵普遍高于最终流，说明在最终预测收敛前保留了更宽的 token 级不确定性（图 6）。

图 6：对每条 stream 的隐状态施加共享 LM Head 得到的 next-token 分布。(a) 各中间流 top-1 与 E7 不同的比例；(b) 各 stream 的平均 probe 熵（n=2,4,8）。

综合来看，消融与探针指向同一解释：训练目标消融说明「仅监督最后一流」优于对每条 stream 施加损失或对输出求和；KV 与注意力分析说明 per-stream KV 有用、各 stream 在 Transformer 内部分化、最终流会读取其他 stream；LM-head 探针则从词表空间给出可解释性视角——中间流在最终流收敛到预测之前，保留了更宽的候选集合。这正是 Hidden Decoding 把前面的 stream 用作「潜空间计算状态」的含义。

结论与展望

本文把 Hidden Decoding 从方法验证推进到了前沿规模。通过在序列维度扩展并配合 Stream-Factorized Attention，我们在 n=4 下训练出 WeLM-HD4-80B 与 WeLM-HD4-617B，在相同的早期 SFT-only 后训练下全面超过各自匹配的自回归基线；训练成本测量则解释了为何这一规模是实际可行的。这些结果共同表明，序列长度扩展是一条面向前沿大模型、切实可行的不扩增参数的scaling 路径。

展望未来，我们会沿着更强的基线继续推进 Hidden Decoding。在采用更高质量、更大规模的数据进行后训练后，80B 与 617B MoE 的自回归基座已展现出显著更高的基准成绩与更稳定的使用体验（见表 6）；下一步，我们将在这些更强的基线上进一步验证 Hidden Decoding 的增益，并将其与 RL 充分结合，持续拓展模型的能力边界。

BenchmarkKimi K2.6WeLM-80BWeLM-617BAA-LCR76.0072.6074.80AA-Omniscience36.5029.5838.00SciCode50.69 (52.2)47.2952.22ARC-AGI-224.728.3330.42Chinese Writing§92.3587.9291.66FrontierMath*53.2147.8356.68GPQA Diamond90.40 (90.5)89.8091.21HLE†36.90 (36.4)31.9038.40HMMT‡95.9794.3595.70IFBench76.6771.9375.87IMO-AnswerBench91.50 (86.0)88.0094.00LiveCodeBench v686.86 (89.6)84.7688.57MathArena Apex23.7838.9860.24MMMLU87.9684.6188.11Multilingual-Open§74.6069.2673.59PHYBench74.0076.1275.00Terminal-Bench 2.165.461.0574.2 表 6：以更高质量、更大规模数据后训练得到的新自回归 MoE 基座在各基准上的表现；Kimi K2.6 作为主流前沿模型参照。所有分数均为百分比。Kimi K2.6 列为与 WeLM 同一评测框架下的自测值，括号内为其官方报告值（若有）。

• *FrontierMath 使用公开的 Tiers 1–4 样例题。
• †HLE 为 no-tools、text-only 设置。
• ‡HMMT 为 2025 年 2 月、2025 年 11 月与 2026 年 2 月三个测试集的加权平均。
• §Chinese Writing 与 Multilingual-Open 为内部数据集。
• Terminal-Bench 2.1：使用 Terminus-2 框架及其提供的 JSON parser 进行评测；解码参数为 temperature=1.0、top_p=0.95，上下文窗口为 256K，结果为两次独立运行的平均值。

References