标签
一位研究者思考这种不稳定的均衡：语言使用自回归模型，而其他模态使用扩散模型，并推测统一的多模态架构取决于每种模态揭示信息的顺序。他为此押下了赌注。
本文研究了一项自监督任务，即使用带有量化VAE分词器的自回归Transformer生成单细胞基因表达向量。文中报告了单细胞基础模型的缩放定律和计算最优前沿，并讨论了针对扰动预测进行微调的潜力。
本文提出了一种多模态自回归Transformer代理模型，用于对地质碳封存中的可变井操作和地质不确定性进行建模，实现了准确的预测，并通过MCMC数据同化实现不确定性量化。
一条推文认为掩码语言建模没有必要，自回归模型就足够了，并顺便提到了 BERT。
JoyAI-Video-Edit 是一个具有 160 亿参数的自回归扩散框架，用于实时、开放式视频编辑，可在单个 NVIDIA B200 GPU 上实现约 30 FPS 的 720p 编辑。
本文提出HERO（历史增强展开训练），一种通过模型自身优化历史的相对监督来增强自回归神经算子的标准轨迹监督的方法，提高了PDE基准上的长时程精度和稳定性。
PreDiff-LM 提出了一种混合注意力机制，该机制对提示令牌保持因果注意力，对掩码目标令牌使用双向注意力，从而使得预训练自回归模型能够适应离散掩码扩散语言建模，在困惑度和下游任务上相较于先前的扩散基线取得了改进。
LLaDA2.2背后的实验室发布了一个扩散模型，并将其与自家的自回归模型进行基准测试，结果显示扩散模型在通用知识和编程方面落后，但在速度和智能体任务上胜出，提供了一个清晰的权衡数据点。
CEDAR提出了一种基于约束的方法，用于稀疏自回归时间序列中的滞后因果边发现，该方法使用AR(1)残差化的距离相关和定向条件独立性检验，在筛选后通过O(d²)次检验实现了高效的边级别可解释性。
本文介绍了一种可处理的方法，用于控制自回归大语言模型的生成，使其在多项式时间内满足LR(k)上下文无关文法，相比之前指数时间的方法有所改进。文中证明，当前的大语言模型常常无法生成满足简单嵌套约束的序列，从而凸显了高效约束生成的必要性。
WorldWeaver (W²) 将跨智能体世界状态寄存器引入多智能体视频扩散模型，实现跨智能体和视图的共享世界状态持久化，提升了双智能体 Minecraft 视频生成的逻辑一致性。
提出自梯度强制（SGF），一种用于自回归视频扩散模型的双通训练策略，为写入有用的上下文记忆提供缺失的监督，即使在短训练窗口下也能实现强大的长视频外推。
介绍了DiffARFNO，一个两阶段框架，结合了自回归Fourier-MIONet与条件DDIM校正器，用于喷墨打印中的长时间跨度液滴演化预测，在ANSYS Fluent数据集上实现了最先进的性能。
AlayaWorld是一个150亿参数的交互式视频世界模型，可生成24帧/秒的540p和720p视频，采用自回归潜变量块生成、受限视觉上下文以及蒸馏技术来减少推理步骤。它在长视界生成基准iWorld-Bench上达到了最先进的性能。
Inkling is a 975B-parameter sparse mixture-of-experts multimodal model accepting text, image and audio inputs and generating text outputs. Released with open weights for research, fine-tuning, and integration.
NVIDIA推出了TwoTower，这是一种在扩散语言模型中解耦上下文表示和去噪的方法，在30B MoE主干上实现了2.42倍的吞吐量，同时保留了98.7%的自回归质量。
OPSD-V 通过使用真实长视频数据作为训练时的时间上下文，提供密集的轨迹级监督，从而增强视觉质量和运动动态，同时不改变推理机制，改进了少步自回归视频扩散模型。
UniSE 是一个统一的、无需提示的、自回归语音增强模型，基于纯解码器语言模型，支持单一模型内完成语音恢复、目标说话人提取和语音分离等多种任务。
本文介绍了Nemotron-Labs-Diffusion，一种三模式语言模型，统一了自回归、扩散与自推测解码，与现有模型相比实现了更优的吞吐量和效率。