标签
BYOD 提出了一种仅使用 LoRA 的方案，可高效地将自回归语言模型转换为扩散语言模型，在冻结所有基础参数的情况下，仅需在单个 Colab GPU 上运行约 3–4 小时，即可完成 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B 的转换。
本文在七个二维时变偏微分方程数据集上，对七个偏微分方程基础模型的滚动预测可靠性进行了基准评测。结果表明，尽管经过微调的基础模型在短期预测中往往优于从头训练的基线模型，但全时域滚动预测存在显著的误差放大现象（中位数为2.04倍），因此主张未来的基准评测应按预测时域分别报告结果。
提出「先知后画」的混合学习范式，用自回归预训练获取语义知识、扩散后训练进行高保真渲染，并建立计算最优扩展律，仅用6,600 H100 GPU小时训出3B文生图模型，在GenEval和DPG-Bench上取得86/87的成绩。
ORBIT 提出了一种统一的深度时间序列生成框架，通过频率层次化 VQ-VAE 和频率带自回归 Transformer 实现从低频到高频的下一频带预测，从而先构建全局时间结构再逐步补充细节，在多个真实基准上达到最先进的性能与更高的推理效率。
论文提出 Causal Edit Serialization (CES) 框架，通过特殊指针令牌与双索引 RoPE，在标准因果注意力掩码下实现插入、删除、替换、复制和移动等局部化文本编辑，并在文法纠错任务上验证了监督与强化学习后训练的可行性。
推测强制通过将中间的干净估计视为草稿并提前接受词元、跳过不必要的去噪步骤，加速少步自回归视频生成，在 LongLive 上以每词元约 1.7 步达到四步生成器的质量，速度提升超过 1.5 倍。
Glance Forcing 提出一种轻量级蒸馏框架，将双向扩散模型的去噪轨迹解耦为慢速与快速两个专家，仅需单条 PF-ODE 轨迹即可超越全训练 SOTA 基线（VBench 总分从 84.04 提升至 84.22），并将轨迹采集成本从数千 GPU 小时降至约 1 个 A100 GPU 小时。
该论文将扩散模型、自回归及其混合体统一到一个“腐化格”（corruption lattice）框架中，证明调度的代价等于其与精确采样的散度，并指出零成本调度的最少步数由数据几何（如图的 treedepth）决定，还提出可在解码前预测调度优劣的核估计方法，并在 dLLM、图像与视频生成上验证了预测。
从第一性原理出发，一步步讲解 LLM 推理中 prefill 与 decode 的实际工作原理，从 ChatGPT 式对话如何通过分词（tokenization）处理提示词、并以自回归方式生成 token 说起。
SemanTok 引入了一种变长视频 tokenizer，将冻结的 DINO 特征输入其编码器，并从每个保留的 token 前缀中重建这些特征，从而为自回归视频生成提供可预测的由粗到细语义 token。一个 2.01 亿参数的 SemanTok AR 模型即可匹配甚至超越规模为其 3.4 倍的 VideoFlexTok 模型，在不同模型规模和噪声水平下均展现出强劲的语义对齐能力与生成保真度。
FlashForward 介绍了一种通过重用飞行中 KV 缓存和使用清洁锚点来加速自回归视频扩散的方法，在保持质量的同时实现了高达 2.92 倍的速度提升。
Augment Code将其编码代理后端切换到Stefano Ermon的Mercury 2.5扩散模型，在生产环境中实现了82%的延迟降低和90%的成本削减。文章强调了扩散模型的性能优势以及独立AI基准测试工具的必要性。
作者创建了 Jevgpt，一个使用小词表和规范解码的自回归聊天机器人，作为个人项目分享在 Hacker News 上。
天王星是一个面向具身智能的新一代仿真基础设施，它采用关节轨迹条件自回归扩散模型，能够以流式展开和可扩展控制的方式，实现可扩展、低延迟的机器人仿真生成。
Reviser是一种新颖的仅解码器Transformer模型，通过自回归光标动作实现可修订的文本生成，与基线模型相比，在保持有竞争力性能的同时，降低了推理计算成本。
本文详细介绍了使用 transformer 为 Super Mario Land 构建一个世界模型，通过标记化输入预测下一个游戏帧，并展示了自回归“梦境生成”来生成未来帧。
Zarya 是一种混合语言模型，联合优化自回归和掩码扩散目标，实现灵活训练和双模推理，已公开发布0.6B、1.7B和4B大小的模型。
Fraglingo引入了一种连接感知的自回归模型，用于分子设计，该模型通过在连续潜空间中联合预测片段身份和连接来生成分子，增强了属性控制和灵活性。
本文使用受控的自回归测试平台，分析了图像分词器设计如何影响多模态模型中的联合文本-图像建模，揭示了不同的扩展行为及其与下游性能的相关性。
Mask Forcing通过在自回归视频扩散蒸馏的自滚动过程中注入掩码清洁信号来缓解模式崩溃，在不需要额外训练数据的情况下提高视觉质量。