构建 NCM 模型的代码(来自 Stanford HazyResearch Lab)
摘要
一个 GitHub 仓库,发布了用于构建日语 Next-Concept 基础模型(ja-NCM)的训练代码、数据准备流程和基准测试,包括同等预算下的掩码扩散与自回归基线,并附有论文和 Hugging Face 权重的链接。
查看缓存全文
缓存时间: 2026/11/19 13:34
ronantakizawa/ja-ncm
来源: https://github.com/ronantakizawa/ja-ncm
ja-NCM: 一个日语 Next-Concept 基础模型
我从零开始训练日语 Next-Concept Foundation Model 的代码,以及同预算的 masked diffusion (MDLM) 与 autoregressive (AR) 基线,用于对比。
- 模型权重: https://huggingface.co/ronantakizawa/ja-ncm
- 论文: Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation (Khare et al., 2026), https://arxiv.org/abs/2610.14162
- 上游代码: HazyResearch/ncm (MIT), vendored 于
ncm/
HazyResearch 发布了 NCM 的 checkpoint 和评估代码,但未发布训练代码。本仓库补充了训练循环(tokenizer、generator、基线)、数据准备、评估与延迟基准测试。这些配置可复现 ja-NCM,同一套流程也可用于其他语言。
什么是 NCM?
大多数语言模型一次只生成一个 token,因此一段 128 token 的文本需要 128 次前向传播。NCM 由两部分组成:
- Concept tokenizer,一个 multiscale residual VQ-VAE。它把 128 token 的窗口压缩为 12 层离散编码:第 1 层用单个编码表示这段文本的主旨,之后每层逐步增加细节,到第 12 层共 128 个编码。
- Generator,一个 transformer,从粗到细逐层预测这些编码,并且同一层内的所有编码一次性并行预测。
因此,无论文本多长,一段文本只需 12 次前向传播。最后一层之后,tokenizer 的 decoder 将编码还原为文本。
ja-NCM 结果(日语,单张 H100)
所有模型都在相同数据(FineWeb-2-Edu-Japanese,llm-jp-3 词表)上以相同预算训练(100k 步 × 512 × 128 = 6.55B tokens)。
| 指标 | NCM (24×1024, 12 步) | Diffusion, 同尺寸 | Autoregressive |
|---|---|---|---|
| Gen-PPL at matched entropy(越低越好) | 300 | 16 步时 313,128 步时 121 | 52 (12×768) |
| 每 128-token 序列毫秒数, batch 16, CUDA graphs | 6.1 | 16 步时 14.9,128 步时 119 | 34.7 (同尺寸) |
| en→ja COMET-22, 4 个测试集均值 | 70.6 | 32 步时 76.5 | 77.3 (12×768) |
- 速度: 在同等质量下,NCM 比同尺寸 diffusion 模型快 2.4 倍,比同尺寸 AR 模型快 5.7 倍(batch 16)。随着 batch 增大,它相对 AR 的领先幅度会缩小(batch 1 时 8.6 倍,batch 128 时 2.0 倍)。
- 质量: 按本仓库的评分方式,diffusion 在 128 步时超过 NCM,AR 整体最佳。在论文的英文 LM1B 设置下,NCM 与 diffusion 的排名取决于评分协议(见下文“评估“)。
安装
python -m venv .venv
.venv/bin/pip install -e ".[ja,dev]" # 可编辑安装: jancm 需要源码树以使用 vendored 的 ncm/
.venv/bin/python -m pytest -q # 44 个 CPU 测试,约 10 秒
ja 额外依赖会添加 MeCab (fugashi),用于日语 BLEU 和 ROUGE。如果你更喜欢 pip install -r,requirements*.txt 固定了相同版本。
COMET 在独立环境中运行(requirements-comet.txt),因为它固定了较旧的 numpy 和 transformers 版本。
Docker (GPU): 镜像与 ja-NCM 使用的环境一致:Ubuntu 24.04、Python 3.12、torch 2.14.1 搭配 CUDA 13.0,运行于 H100。宿主机需要支持 CUDA 13.0 的 NVIDIA 驱动(R580 或更新)以及 NVIDIA Container Toolkit。
docker build -t ja-ncm .
docker run --gpus all --ipc=host --rm -it -v $PWD/data:/work/data -v $PWD/runs:/work/runs ja-ncm
所有训练器都通过 torchrun 进行多 GPU 数据并行:
TR="python -m torch.distributed.run --standalone --nproc_per_node 8" # 在 venv 或容器内
配置中的 batch_size 是全局 batch;梯度累积会补足差额,因此同一份配置在 1、8 或 16 张 GPU 上都能得到相同的优化结果。中断后加上 --resume auto 可从 /last.pt 继续训练。
训练一个日语 NCM(ja-NCM 配方)
顺序很重要:新的 tokenizer 会让在其上训练的所有 generator 失效。
# 1. 数据 (CPU)。先运行 prepare_summ.py: 它会写出 prepare_corpus.py 所排除的 XL-Sum 评估 URL。
O=data/phase_b_v3
python scripts/prepare_summ.py --config configs/phase_b_v3/ja_summ.yaml --out $O/summ
python scripts/prepare_corpus.py --config configs/phase_b_v3/ja_tokenizer.yaml --out $O/corpus \
--skip-urls $O/xlsum_eval_urls.txt --workers 40
python scripts/prepare_data.py --config configs/phase_b_v3/en_ja.yaml --direction en-ja --out $O/en_ja
# 2. Concept tokenizer,然后是它的 gate(全层级 token 重建 >= 95%)
$TR scripts/train_tokenizer.py --config configs/phase_b_v3/ja_tokenizer.yaml
python scripts/gates.py tokenizer runs/phase_b_v3/ja_tokenizer
# 3. 无条件 generator (24x1024,8x H100 上约 19 小时)
$TR scripts/train_ncm.py --config configs/phase_b_v3/ja_uncond.yaml
# 4. 微调: 英语->日语翻译,以及摘要(XSum 风格预训练、蒸馏摘要、XL-Sum)
$TR scripts/train_ncm.py --config configs/phase_b_v3/en_ja.yaml
$TR scripts/train_ncm.py --config configs/phase_b_v3/ja_uncond_xsum.yaml
$TR scripts/train_ncm.py --config configs/phase_b_v3/ja_summ.yaml
$TR scripts/train_ncm.py --config configs/phase_b_v3/ja_summ_xlsum.yaml
每个配置都继承自其 base: 列表中列出的文件;configs/phase_b/ 存放共享默认值,configs/phase_b_v3/ 是最终配方。完整语料的数据准备约需 400 GB 磁盘空间,在 64 vCPU 机器上用 40 个 worker 效果最佳。
基线
$TR scripts/train_mdlm.py --config configs/phase_b_v3/ja_uncond_mdlm_l.yaml # diffusion,与 NCM 同尺寸
$TR scripts/train_ar.py --config configs/phase_b_v3/ja_uncond_ar.yaml # autoregressive
$TR scripts/train_mdlm.py --config configs/phase_b_v3/en_ja_mdlm.yaml # 条件 diffusion, en->ja
$TR scripts/train_ar.py --config configs/phase_b_v3/en_ja_ar.yaml # 以及 ja_summ_ar / ja_summ_xlsum_ar
为其他语言训练 NCM
- Text tokenizer: 在
configs/phase_b_v3/_llmjp.yaml的副本中设置tokenizer.pre_tokenizer(一个 Hugging Face tokenizer id,需附带其 EOS 和 PAD token)以及in_vocab_size。先测量每个 token 的字符数:能在每个 128-token 窗口里塞入更多文本的词表更有帮助。 - 语料: 将
scripts/prepare_corpus.py指向你的数据集。文档从不打包在一起:每个文档加上 EOS 后切成 128-token 窗口,这样 tokenizer 就能学到 “text, EOS, PAD” 的布局。 - 先验证训练循环(推荐): Stage 0 用已发布的 tokenizer 在论文的 LM1B 数据上训练 generator,并与已发布的 generator 进行比较。
hf download hazyresearch/ncm-checkpoints --include "lm1b/tokenizer.pt" --include "lm1b/small/*" --local-dir artifacts
hf download hazyresearch/ncm-datasets --repo-type dataset --include "lm1b/*" --local-dir data/upstream
$TR scripts/train_ncm.py --config configs/stage0/lm1b_small.yaml
python scripts/gates.py stage0
- 然后用你的配置运行日语配方的第 2–4 步,并在训练 generator 之前检查 tokenizer gate。
评估
# 无条件质量: gen-PPL 和熵; 扫描 generation.temperature,并在相同熵下比较模型
python scripts/eval_uncond.py --model ncm --config configs/phase_b_v3/ja_uncond.yaml --ckpt runs/phase_b_v3/ja_uncond/last.pt \
--out results/ncm_T0.95.json generation.temperature=0.95
python scripts/eval_uncond.py --model mdlm --ckpt runs/phase_b_v3/ja_uncond_mdlm_l/last.pt --steps 128 --out results/mdlm.json
python scripts/eval_uncond.py --model data --config configs/phase_b_v3/ja_uncond.yaml --out results/data.json
# 翻译和摘要 (BLEU, chrF, ROUGE 搭配 MeCab, 延迟); --model ncm | ar | mdlm
python scripts/evaluate.py --model ncm --ckpt runs/phase_b_v3/en_ja/last.pt --lang ja \
--data-dir data/phase_b_v3/en_ja/test --tests flores,ntrex,kftt,alt
# 单 GPU 延迟: eager 和整次调用 CUDA-graph 捕获, batch 1/16/64
python scripts/bench_latency.py --ncm runs/phase_b_v3/ja_uncond/last.pt --mdlm runs/phase_b_v3/ja_uncond_mdlm_l/last.pt \
--ar runs/phase_b_v3/ja_uncond_ar/last.pt --modes eager,capture --out results/bench.json
python scripts/check_capture.py --ncm runs/phase_b_v3/ja_uncond/last.pt --mdlm runs/phase_b_v3/ja_uncond_mdlm/last.pt \
--mdlm-l runs/phase_b_v3/ja_uncond_mdlm_l/last.pt --ar runs/phase_b_v3/ja_uncond_ar/last.pt \
--out results/capture_check.json
# CUDA-graph 回放必须与 eager 生成结果一致
公平比较模型的注意事项:
- Matched entropy: 降低温度会降低 gen-PPL,但同时让文本多样性下降,因此应在相同采样熵(跨不同 text tokenizer 的字符熵)下比较模型,并在温度之间对 gen-PPL 做插值。
- Scoring protocol: gen-PPL 排名取决于协议。
scripts/eval_uncond.py对每个模型直接采样,然后对逐样本 perplexity 取平均。论文的流程(ncm/scripts/eval_shard.py、eval_merge.py;LM1B 由scripts/lm1b_paper_protocol.py复现)计算语料级 perplexity,并对 NCM 的 token 读出施加频率与邻接惩罚。在 LM1B 上,已发布的 NCM 在论文协议下得分为 93.5(论文: 93.1)。 - Averaged weights: MDLM checkpoint 同时保存原始权重和 EMA 权重。
--mdlm-weights auto仅在 EMA 预热后(step × (1 − decay) ≥ 5)才使用 EMA。NCM 和 AR 不保留 EMA。 - Same-size baselines: 与 generator 尺寸相同的 MDLM 和 AR 模型进行比较。
scripts/bench_ar_shape.py用随机权重计时一个同结构 AR 模型,因为解码时间不依赖权重。 - Conditional MDLM: 使用 MDLM 的随机揭示顺序(
generation.mdlm_order: random,默认值)。按置信度排序会截断摘要内容。
目录结构
| 路径 | 内容 |
|---|---|
ncm/ | Vendored 的 HazyResearch/ncm (MIT),含少量补丁(多层级重建修复、KV-cache 掩码、安全 checkpoint 加载、CUDA-graph 友好的掩码) |
jancm/ | 训练目标(tokenizer 与 generator 的 corruption、self-correction)、数据加载、DDP 与抢占辅助工具、MDLM 与 AR 基线、推理、日语指标 |
scripts/prepare_*.py | 语料窗口、摘要数据与翻译对,并针对测试集做去污染 |
scripts/train_tokenizer.py、train_ncm.py、train_mdlm.py、train_ar.py | 训练器(均使用 torchrun) |
scripts/eval_uncond.py、evaluate.py、score_comet.py、eval_external.py | 无条件与条件评估 |
scripts/bench_latency.py、bench_ar_shape.py、check_capture.py | 延迟基准测试与回放检查 |
scripts/gates.py、stage0_reference.py、check_tokenizer.py、lm1b_paper_protocol.py | 对照已发布 checkpoint 的验证、tokenizer gate、论文协议评分 |
scripts/translate.py、record_trajectories.py | 生成,包含每层之后的 coarse-to-fine 轨迹 |
scripts/hf_upload.py | 将 checkpoint 上传到私有 Hugging Face 仓库(配置中与机器相关的设置已清除) |
configs/ | phase_b_v3/: ja-NCM 配方。phase_b/: 共享默认值。stage0/: LM1B 验证。ja_en_*.yaml: 在已发布的 WMT14 NCM 上微调 ja→en |
tests/ | CPU 测试,包括一个 2 进程 DDP 检查 |
已知限制
- NCM 训练循环是重新实现的;HazyResearch 的训练代码尚未发布。在 LM1B 上,按本仓库的评分方式它与已发布的 generator 持平(1.01×),按论文协议则差 1.28×。
- ja-NCM 的结果来自每个模型各一次训练。
- 日语评估仅使用 llm-jp-3-1.8b 作为唯一的 gen-PPL 评分器。
数据许可
FineWeb-2-Edu-Japanese (ODC-By)、llm-jp-3 tokenizer 词表 (LLM-jp)、JapaneseSummarization-FW2EduJa-Distill (Apache-2.0)、XL-Sum ja (CC BY-NC-SA 4.0)、KFTT (CC BY-SA 3.0)、Mitsua Wikidata (CC0)、Tatoeba (CC BY 2.0 FR)、ALT (CC BY 4.0);用于评估的 FLORES+ 和 NTREX-128。在 share-alike 或非商业数据上训练的模型需继承这些条款。
许可证
MIT(见 LICENSE)。ncm/ 来自 HazyResearch/ncm,同样是 MIT(ncm/LICENSE)。
相似文章
下一概念建模:快速、并行的由粗到细文本生成
下一概念建模(NCM)提出一种由粗到细的两阶段框架,利用多尺度残差向量量化变分自编码器(VQ-VAE)将文本编码为层级离散码,并逐层并行生成,在 LM1B、OpenWebText 与 XSum 上实现 10-31 倍加速,同时达到或超越最强扩散语言模型基线的性能,并在数独推理任务上显著优于自回归与扩散基线。
@NousResearch:今天我们发布对比神经元归因(CNA),一种通过识别和消融稀疏电路来引导LLM行为的方法…
NousResearch 发布了对比神经元归因(CNA),该方法通过消融稀疏的 MLP 电路来引导 LLM 行为,无需训练稀疏自编码器或降低基准测试性能,并在多达 70B 参数的模型的拒绝电路上验证了有效性。
@akshay_pachaar:Stanford 重新发明了文本生成。(既不是自回归,也不是扩散)自回归 LLM 每次生成一个……
Stanford HazyResearch 提出 Next-Concept Modeling(NCM),一种既非自回归也非扩散的粗到细并行文本生成方法,据称比强扩散基线快 10–31 倍且训练 tokens 更少;不过实验规模仅到 725M 参数,能否扩展至通用 LLM 规模仍待验证。
@latkins: 我们很高兴推出 NAC,以及我们扩展版 Open Models API 的测试版。NAC 是我们研究团队的一个内部工具…
Cohere 推出 NAC,这是一个用于长时间运行的异步 AI 研究任务的内部工具,以及其扩展版 Open Models API 的测试版。
@CongWei1230: 感谢分享!我们已开源代码和模型。Huggingface 论文:https://huggingface.co/papers/2609.38597… 代码:…
NVIDIA Labs 发布了 PixelUMM,这是一款无编码器的统一多模态模型,直接在原始像素空间中进行图像与视频的理解与生成,并同步开源了代码和模型。