下一概念建模：快速、并行的由粗到细文本生成
摘要
下一概念建模（NCM）提出一种由粗到细的两阶段框架，利用多尺度残差向量量化变分自编码器（VQ-VAE）将文本编码为层级离散码，并逐层并行生成，在 LM1B、OpenWebText 与 XSum 上实现 10-31 倍加速，同时达到或超越最强扩散语言模型基线的性能，并在数独推理任务上显著优于自回归与扩散基线。
查看缓存全文
缓存时间: 2026/10/15 18:59
论文页面 - 下一概念建模：快速、并行的由粗到细文本生成
来源：https://huggingface.co/papers/2610.14162
摘要
下一概念建模采用分层离散编码和逐层并行生成，在加速扩散语言模型的同时，提高生成质量和推理性能\。
扩散语言模型 (https://huggingface.co/papers?q=Diffusion%20language%20models)(DLM) 支持并行采样 (https://huggingface.co/papers?q=parallel%20sampling)，生成速度比自回归模型更快。随着推理成为主要的计算工作负载，这一优势也日益重要\。然而，DLM 在采样步数减少时性能会迅速下降，每一步都需要处理完整序列，并且需要多次遍历数据集才能达到良好的质量\。我们提出下一概念建模 (NCM)，这是一个分为两个阶段、由粗到细的框架：多尺度残差 VQ-VAE (https://huggingface.co/papers?q=multiscale%20residual%20VQ-VAE) 将文本编码为分层的离散编码 (https://huggingface.co/papers?q=discrete%20codes)，随后由 Transformer (https://huggingface.co/papers?q=transformer) 每次生成一个层级，并行预测该层级内的所有编码\。在参数规模相同的情况下，NCM 在 LM1B 上的生成困惑度 (https://huggingface.co/papers?q=generative%20perplexity) 优于最强的 DLM 基线，同时运行速度达到其 21 倍\。在 OpenWebText 上，NCM 的表现可与最强的 DLM 媲美，同时运行速度达到其 10 倍；在 XSum 上，它的 ROUGE-L 与最强的 DLM 相当，同时速度达到其 31 倍\。在数独推理任务上，NCM 在所有难度级别上均优于自回归和扩散基线，同时使用更少的函数求值次数 (https://huggingface.co/papers?q=function%20evaluations)\。在数独推理任务上，NCM 在所有难度级别上均优于自回归和扩散基线，同时使用更少的函数求值次数 (https://huggingface.co/papers?q=function%20evaluations)\。
查看 arXiv 页面 (https://arxiv.org/abs/2610.14162)查看 PDF (https://arxiv.org/pdf/2610.14162)项目页面 (https://hazyresearch.stanford.edu/blog/2026-10-12-ncm)GitHub36 (https://github.com/HazyResearch/ncm)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.14162)
在你的智能体中获取这篇论文：
hf papers read 2610\.14162
还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用这篇论文的模型1
hazyresearch/ncm-checkpoints (https://huggingface.co/hazyresearch/ncm-checkpoints)
引用这篇论文的数据集1
hazyresearch/ncm-datasets 更新于1天前 • 108 • 4 (https://huggingface.co/datasets/hazyresearch/ncm-datasets)
引用这篇论文的 Space0
没有链接到这篇论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2610.14162，即可在此页面显示该 Space 的链接\。
收录这篇论文的合集0
没有收录这篇论文的合集
将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可在此页面显示该合集的链接\。
相似文章
@yoheinakajima：看看这东西是怎么生成的
Yohei Nakajima 转发介绍下一概念建模（NCM）：一种快速、并行、由粗到细的文本生成新范式，在摘要等下游任务上，相比同规模的扩散语言模型，最快可实现 31 倍加速。
@akshay_pachaar：Stanford 重新发明了文本生成。（既不是自回归，也不是扩散）自回归 LLM 每次生成一个……
Stanford HazyResearch 提出 Next-Concept Modeling（NCM），一种既非自回归也非扩散的粗到细并行文本生成方法，据称比强扩散基线快 10–31 倍且训练 tokens 更少；不过实验规模仅到 725M 参数，能否扩展至通用 LLM 规模仍待验证。
大规模语法概念标注：部署的微调小语言模型超越提示式前沿模型
论文提出用经过筛选和再平衡的教师监督信号微调 Qwen3.5 小模型（0.8B/4B），在语法概念标注任务上超越提示式 GPT-5.4/GPT-5.6 Sol，同时将服务成本降低约 16 倍，并在线上实验中显著提升学习者参与度与业务指标。
@vintcessun: 预训练原来可以这么省？1B模型、~$1000就能从零训出可用的基础模型，计算和数据量直接砍掉数百倍。核心不靠堆算力，而是层次递归架构加上潜在空间推理，配合PrefixLM packing和FA3把效率拉满。有点离谱，但论文和代码都开源了。
HRM-Text发布了一个1B参数的基础模型，声称仅需约$1000即可从零完成预训练，计算量和数据量减少数百倍，采用层级递归架构、潜在空间推理和PrefixLM packing等高效技术，论文与代码均已开源。
一个模型，循环万物：语言模型的弹性潜在递归
NVIDIA 提出弹性潜在循环（Elastic Latent Recurrence，ELR）训练方案，使循环语言模型在单次循环时达到与同规模非循环模型相当的精度，同时每次额外循环都能以更多推理计算换取精度提升，最终产出可在 1–4 次循环间灵活调整的单一检查点 Koi-4B。