@mihirp98: 图像、视频、音频、动作——生成式建模已趋同于一个范式：压缩成连续潜变量，生成…
摘要
研究人员提出Latent Thought Flows，将256个文本令牌压缩为8个连续潜变量，实现单步生成，在推理计算与生成质量的帕累托前沿上优于自回归基线。
查看缓存全文
缓存时间: 2026/07/16 22:23
图像、视频、音频、动作——生成式建模已汇聚于一种方案：压缩为连续潜变量，在潜空间生成，再解码。
语言是唯一的例外：仍然以长离散流的形式逐词元生成。
潜在思维流：我们将256个文本词元压缩为8个连续潜变量，通过单步流模型生成它们，并使用自回归解码器将其读出为文本。
结果：相比于精心调优的自回归基线，实现了更优的推理计算量 vs. 生成质量的帕累托前沿——得益于压缩和单步生成。
与 @ZhengyangGeng 共同领导。
相似文章
@alec_helbling: 越来越多的研究工作使用连续流模型来处理像语言生成这样的离散问题。一个简单的做法：表示…
这条推文讨论了越来越多地使用连续流模型来处理像语言生成这样的离散任务，提出了一种方法来将词汇表示为独热向量，并在连续空间中学习流。
@akshay_pachaar：Stanford 重新发明了文本生成。（既不是自回归，也不是扩散）自回归 LLM 每次生成一个……
Stanford HazyResearch 提出 Next-Concept Modeling（NCM），一种既非自回归也非扩散的粗到细并行文本生成方法，据称比强扩散基线快 10–31 倍且训练 tokens 更少；不过实验规模仅到 725M 参数，能否扩展至通用 LLM 规模仍待验证。
通过判别式文本表征将一步图像生成从类别标签扩展到文本
研究者通过集成高判别力的大语言模型文本编码器，将 MeanFlow 一步图像生成从固定类别标签扩展到灵活文本输入，实现高效的文本条件合成并显著提升性能。
@jiqizhixin：如果只需要一步就能生成高质量图像，而不是数百步？斯坦福和字节跳动推出 W-Flow……
斯坦福和字节跳动推出 W-Flow，一种单步生成模型，利用 Wasserstein 梯度流实现了最先进的单步 ImageNet 256x256 生成（FID 1.29），采样速度比多步扩散模型快 100 倍。
隐空间中的评判：通过语义保持压缩实现高效生成式奖励建模
本文提出 LatentGRM，一个隐空间评估框架，通过语义保持的分块压缩在连续隐空间中执行基于评分标准的奖励建模，在 4B/8B 规模下取得了与 SFT 评判模型相当的偏好判断准确率，同时将评估轨迹压缩至原来的 1/8.9–1/9.2，并将推理时间缩短为原来的 1/6.1–1/7.0。