构建 NCM 模型的代码(来自 Stanford HazyResearch Lab)

Reddit r/LocalLLaMA 工具

摘要

一个 GitHub 仓库,发布了用于构建日语 Next-Concept 基础模型(ja-NCM)的训练代码、数据准备流程和基准测试,包括同等预算下的掩码扩散与自回归基线,并附有论文和 Hugging Face 权重的链接。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/11/19 13:34

ronantakizawa/ja-ncm

来源: https://github.com/ronantakizawa/ja-ncm

ja-NCM: 一个日语 Next-Concept 基础模型

我从零开始训练日语 Next-Concept Foundation Model 的代码,以及同预算的 masked diffusion (MDLM) 与 autoregressive (AR) 基线,用于对比。

  • 模型权重: https://huggingface.co/ronantakizawa/ja-ncm
  • 论文: Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation (Khare et al., 2026), https://arxiv.org/abs/2610.14162
  • 上游代码: HazyResearch/ncm (MIT), vendored 于 ncm/

HazyResearch 发布了 NCM 的 checkpoint 和评估代码,但未发布训练代码。本仓库补充了训练循环(tokenizer、generator、基线)、数据准备、评估与延迟基准测试。这些配置可复现 ja-NCM,同一套流程也可用于其他语言。

什么是 NCM?

大多数语言模型一次只生成一个 token,因此一段 128 token 的文本需要 128 次前向传播。NCM 由两部分组成:

  1. Concept tokenizer,一个 multiscale residual VQ-VAE。它把 128 token 的窗口压缩为 12 层离散编码:第 1 层用单个编码表示这段文本的主旨,之后每层逐步增加细节,到第 12 层共 128 个编码。
  2. Generator,一个 transformer,从粗到细逐层预测这些编码,并且同一层内的所有编码一次性并行预测。

因此,无论文本多长,一段文本只需 12 次前向传播。最后一层之后,tokenizer 的 decoder 将编码还原为文本。

ja-NCM 结果(日语,单张 H100)

所有模型都在相同数据(FineWeb-2-Edu-Japanese,llm-jp-3 词表)上以相同预算训练(100k 步 × 512 × 128 = 6.55B tokens)。

指标NCM (24×1024, 12 步)Diffusion, 同尺寸Autoregressive
Gen-PPL at matched entropy(越低越好)30016 步时 313,128 步时 12152 (12×768)
每 128-token 序列毫秒数, batch 16, CUDA graphs6.116 步时 14.9,128 步时 11934.7 (同尺寸)
en→ja COMET-22, 4 个测试集均值70.632 步时 76.577.3 (12×768)
  • 速度: 在同等质量下,NCM 比同尺寸 diffusion 模型快 2.4 倍,比同尺寸 AR 模型快 5.7 倍(batch 16)。随着 batch 增大,它相对 AR 的领先幅度会缩小(batch 1 时 8.6 倍,batch 128 时 2.0 倍)。
  • 质量: 按本仓库的评分方式,diffusion 在 128 步时超过 NCM,AR 整体最佳。在论文的英文 LM1B 设置下,NCM 与 diffusion 的排名取决于评分协议(见下文“评估“)。

安装

python -m venv .venv
.venv/bin/pip install -e ".[ja,dev]"  # 可编辑安装: jancm 需要源码树以使用 vendored 的 ncm/
.venv/bin/python -m pytest -q         # 44 个 CPU 测试,约 10 秒

ja 额外依赖会添加 MeCab (fugashi),用于日语 BLEU 和 ROUGE。如果你更喜欢 pip install -r,requirements*.txt 固定了相同版本。

COMET 在独立环境中运行(requirements-comet.txt),因为它固定了较旧的 numpy 和 transformers 版本。

Docker (GPU): 镜像与 ja-NCM 使用的环境一致:Ubuntu 24.04、Python 3.12、torch 2.14.1 搭配 CUDA 13.0,运行于 H100。宿主机需要支持 CUDA 13.0 的 NVIDIA 驱动(R580 或更新)以及 NVIDIA Container Toolkit。

docker build -t ja-ncm .
docker run --gpus all --ipc=host --rm -it -v $PWD/data:/work/data -v $PWD/runs:/work/runs ja-ncm

所有训练器都通过 torchrun 进行多 GPU 数据并行:

TR="python -m torch.distributed.run --standalone --nproc_per_node 8"  # 在 venv 或容器内

配置中的 batch_size 是全局 batch;梯度累积会补足差额,因此同一份配置在 1、8 或 16 张 GPU 上都能得到相同的优化结果。中断后加上 --resume auto 可从 /last.pt 继续训练。

训练一个日语 NCM(ja-NCM 配方)

顺序很重要:新的 tokenizer 会让在其上训练的所有 generator 失效。

# 1. 数据 (CPU)。先运行 prepare_summ.py: 它会写出 prepare_corpus.py 所排除的 XL-Sum 评估 URL。
O=data/phase_b_v3
python scripts/prepare_summ.py --config configs/phase_b_v3/ja_summ.yaml --out $O/summ
python scripts/prepare_corpus.py --config configs/phase_b_v3/ja_tokenizer.yaml --out $O/corpus \
  --skip-urls $O/xlsum_eval_urls.txt --workers 40
python scripts/prepare_data.py --config configs/phase_b_v3/en_ja.yaml --direction en-ja --out $O/en_ja

# 2. Concept tokenizer,然后是它的 gate(全层级 token 重建 >= 95%)
$TR scripts/train_tokenizer.py --config configs/phase_b_v3/ja_tokenizer.yaml
python scripts/gates.py tokenizer runs/phase_b_v3/ja_tokenizer

# 3. 无条件 generator (24x1024,8x H100 上约 19 小时)
$TR scripts/train_ncm.py --config configs/phase_b_v3/ja_uncond.yaml

# 4. 微调: 英语->日语翻译,以及摘要(XSum 风格预训练、蒸馏摘要、XL-Sum)
$TR scripts/train_ncm.py --config configs/phase_b_v3/en_ja.yaml
$TR scripts/train_ncm.py --config configs/phase_b_v3/ja_uncond_xsum.yaml
$TR scripts/train_ncm.py --config configs/phase_b_v3/ja_summ.yaml
$TR scripts/train_ncm.py --config configs/phase_b_v3/ja_summ_xlsum.yaml

每个配置都继承自其 base: 列表中列出的文件;configs/phase_b/ 存放共享默认值,configs/phase_b_v3/ 是最终配方。完整语料的数据准备约需 400 GB 磁盘空间,在 64 vCPU 机器上用 40 个 worker 效果最佳。

基线

$TR scripts/train_mdlm.py --config configs/phase_b_v3/ja_uncond_mdlm_l.yaml  # diffusion,与 NCM 同尺寸
$TR scripts/train_ar.py --config configs/phase_b_v3/ja_uncond_ar.yaml        # autoregressive
$TR scripts/train_mdlm.py --config configs/phase_b_v3/en_ja_mdlm.yaml        # 条件 diffusion, en->ja
$TR scripts/train_ar.py --config configs/phase_b_v3/en_ja_ar.yaml            # 以及 ja_summ_ar / ja_summ_xlsum_ar

为其他语言训练 NCM

  1. Text tokenizer: 在 configs/phase_b_v3/_llmjp.yaml 的副本中设置 tokenizer.pre_tokenizer(一个 Hugging Face tokenizer id,需附带其 EOS 和 PAD token)以及 in_vocab_size。先测量每个 token 的字符数:能在每个 128-token 窗口里塞入更多文本的词表更有帮助。
  2. 语料: 将 scripts/prepare_corpus.py 指向你的数据集。文档从不打包在一起:每个文档加上 EOS 后切成 128-token 窗口,这样 tokenizer 就能学到 “text, EOS, PAD” 的布局。
  3. 先验证训练循环(推荐): Stage 0 用已发布的 tokenizer 在论文的 LM1B 数据上训练 generator,并与已发布的 generator 进行比较。
hf download hazyresearch/ncm-checkpoints --include "lm1b/tokenizer.pt" --include "lm1b/small/*" --local-dir artifacts
hf download hazyresearch/ncm-datasets --repo-type dataset --include "lm1b/*" --local-dir data/upstream
$TR scripts/train_ncm.py --config configs/stage0/lm1b_small.yaml
python scripts/gates.py stage0
  1. 然后用你的配置运行日语配方的第 2–4 步,并在训练 generator 之前检查 tokenizer gate。

评估

# 无条件质量: gen-PPL 和熵; 扫描 generation.temperature,并在相同熵下比较模型
python scripts/eval_uncond.py --model ncm --config configs/phase_b_v3/ja_uncond.yaml --ckpt runs/phase_b_v3/ja_uncond/last.pt \
  --out results/ncm_T0.95.json generation.temperature=0.95
python scripts/eval_uncond.py --model mdlm --ckpt runs/phase_b_v3/ja_uncond_mdlm_l/last.pt --steps 128 --out results/mdlm.json
python scripts/eval_uncond.py --model data --config configs/phase_b_v3/ja_uncond.yaml --out results/data.json

# 翻译和摘要 (BLEU, chrF, ROUGE 搭配 MeCab, 延迟); --model ncm | ar | mdlm
python scripts/evaluate.py --model ncm --ckpt runs/phase_b_v3/en_ja/last.pt --lang ja \
  --data-dir data/phase_b_v3/en_ja/test --tests flores,ntrex,kftt,alt

# 单 GPU 延迟: eager 和整次调用 CUDA-graph 捕获, batch 1/16/64
python scripts/bench_latency.py --ncm runs/phase_b_v3/ja_uncond/last.pt --mdlm runs/phase_b_v3/ja_uncond_mdlm_l/last.pt \
  --ar runs/phase_b_v3/ja_uncond_ar/last.pt --modes eager,capture --out results/bench.json
python scripts/check_capture.py --ncm runs/phase_b_v3/ja_uncond/last.pt --mdlm runs/phase_b_v3/ja_uncond_mdlm/last.pt \
  --mdlm-l runs/phase_b_v3/ja_uncond_mdlm_l/last.pt --ar runs/phase_b_v3/ja_uncond_ar/last.pt \
  --out results/capture_check.json
# CUDA-graph 回放必须与 eager 生成结果一致

公平比较模型的注意事项:

  • Matched entropy: 降低温度会降低 gen-PPL,但同时让文本多样性下降,因此应在相同采样熵(跨不同 text tokenizer 的字符熵)下比较模型,并在温度之间对 gen-PPL 做插值。
  • Scoring protocol: gen-PPL 排名取决于协议。scripts/eval_uncond.py 对每个模型直接采样,然后对逐样本 perplexity 取平均。论文的流程(ncm/scripts/eval_shard.py、eval_merge.py;LM1B 由 scripts/lm1b_paper_protocol.py 复现)计算语料级 perplexity,并对 NCM 的 token 读出施加频率与邻接惩罚。在 LM1B 上,已发布的 NCM 在论文协议下得分为 93.5(论文: 93.1)。
  • Averaged weights: MDLM checkpoint 同时保存原始权重和 EMA 权重。--mdlm-weights auto 仅在 EMA 预热后(step × (1 − decay) ≥ 5)才使用 EMA。NCM 和 AR 不保留 EMA。
  • Same-size baselines: 与 generator 尺寸相同的 MDLM 和 AR 模型进行比较。scripts/bench_ar_shape.py 用随机权重计时一个同结构 AR 模型,因为解码时间不依赖权重。
  • Conditional MDLM: 使用 MDLM 的随机揭示顺序(generation.mdlm_order: random,默认值)。按置信度排序会截断摘要内容。

目录结构

路径内容
ncm/Vendored 的 HazyResearch/ncm (MIT),含少量补丁(多层级重建修复、KV-cache 掩码、安全 checkpoint 加载、CUDA-graph 友好的掩码)
jancm/训练目标(tokenizer 与 generator 的 corruption、self-correction)、数据加载、DDP 与抢占辅助工具、MDLM 与 AR 基线、推理、日语指标
scripts/prepare_*.py语料窗口、摘要数据与翻译对,并针对测试集做去污染
scripts/train_tokenizer.py、train_ncm.py、train_mdlm.py、train_ar.py训练器(均使用 torchrun)
scripts/eval_uncond.py、evaluate.py、score_comet.py、eval_external.py无条件与条件评估
scripts/bench_latency.py、bench_ar_shape.py、check_capture.py延迟基准测试与回放检查
scripts/gates.py、stage0_reference.py、check_tokenizer.py、lm1b_paper_protocol.py对照已发布 checkpoint 的验证、tokenizer gate、论文协议评分
scripts/translate.py、record_trajectories.py生成,包含每层之后的 coarse-to-fine 轨迹
scripts/hf_upload.py将 checkpoint 上传到私有 Hugging Face 仓库(配置中与机器相关的设置已清除)
configs/phase_b_v3/: ja-NCM 配方。phase_b/: 共享默认值。stage0/: LM1B 验证。ja_en_*.yaml: 在已发布的 WMT14 NCM 上微调 ja→en
tests/CPU 测试,包括一个 2 进程 DDP 检查

已知限制

  • NCM 训练循环是重新实现的;HazyResearch 的训练代码尚未发布。在 LM1B 上,按本仓库的评分方式它与已发布的 generator 持平(1.01×),按论文协议则差 1.28×。
  • ja-NCM 的结果来自每个模型各一次训练。
  • 日语评估仅使用 llm-jp-3-1.8b 作为唯一的 gen-PPL 评分器。

数据许可

FineWeb-2-Edu-Japanese (ODC-By)、llm-jp-3 tokenizer 词表 (LLM-jp)、JapaneseSummarization-FW2EduJa-Distill (Apache-2.0)、XL-Sum ja (CC BY-NC-SA 4.0)、KFTT (CC BY-SA 3.0)、Mitsua Wikidata (CC0)、Tatoeba (CC BY 2.0 FR)、ALT (CC BY 4.0);用于评估的 FLORES+ 和 NTREX-128。在 share-alike 或非商业数据上训练的模型需继承这些条款。

许可证

MIT(见 LICENSE)。ncm/ 来自 HazyResearch/ncm,同样是 MIT(ncm/LICENSE)。

相似文章

下一概念建模:快速、并行的由粗到细文本生成

Hugging Face Daily Papers

下一概念建模(NCM)提出一种由粗到细的两阶段框架,利用多尺度残差向量量化变分自编码器(VQ-VAE)将文本编码为层级离散码,并逐层并行生成,在 LM1B、OpenWebText 与 XSum 上实现 10-31 倍加速,同时达到或超越最强扩散语言模型基线的性能,并在数独推理任务上显著优于自回归与扩散基线。