标签
PPMem 是一种视频世界模型，以紧凑的平面基元作为持久化 3D 记忆，联合生成长时序连贯的视频，同时输出显式的度量深度、法线和可导出的表面，在 DL3DV 和 RealEstate10K 数据集上优于此前的 3D 基础世界模型。
ForcingBooster 提出一种自适应逐 patch 去噪框架，根据视频块难度动态分配去噪步数，在保持画质的同时将总去噪步数减少约 50%，加速自回归视频扩散模型的生成。
QuadTok 提出了一种基于层次化四叉树的视觉分词器，能够动态地将 token 分配给图像中细节丰富的区域，在 ImageNet 上节省约 10% 的 token，同时使一个 947M 参数的 GPT 式模型在 ImageNet 256x256 上达到 2.08 gFID，并支持零样本空间可控生成。
DLoop 提出一种循环式投机解码方法，在验证前自适应地进行多次起草阶段，通过循环感知训练保持草稿模型可靠性，在 EAGLE-3、DFlash 等方法上实现 5% 到 41% 的墙钟加速且保持无损解码。
LongLive-Plug 是一个一次性蒸馏框架，它学习可重用的 LoRA 适配器用于视频生成模型，实现无需训练、即插即用的部署，适用于各种任务而无需针对每个目标进行重新训练。
本文将PAC隐私扩展到自回归生成，通过基于在重叠数据子集上训练的适配器之间的分歧校准噪声，在GPT-2-small等模型上实现强隐私保证同时保持性能。
该论文《语言模型的熵校准》将熵的上升解释为自回归生成中可达路径的扩散增加，提出由于重尾数据，扩展的效益有限，并建议一种路径感知的解码替代方案。
Kathleen系列的这篇论文表明，一个约0.5M参数、无注意力机制的字节级模型在WikiText-103语言建模和生成上可以击败参数匹配的transformer；引入了一种非参数的“形式距离”（Form Distance）度量来评估文本真实感；并证明从模型自身训练语料库进行检索增强解码能提高生成质量。
本教程介绍如何使用Transformer模型，从训练到推理，重点讲解自回归生成、prefill（预填充）与decode（解码）阶段，以及用于高效推理的键值缓存。
本文提出SPG，一种结构感知的专利生成方法，在自回归解码过程中通过指针头和偏好优化阶段联合预测权利要求拓扑和内容，在HUPD-DCG基准测试中显著提升了父链接恢复和先行词一致性。
本文介绍了SPARC，一种谱代数理论，用于解释自回归语言模型中的自我修正盲点，即模型无法纠正自身错误，却能修复相同的外部错误。该理论证明，当误差传播算子的谱半径不小于1时盲点出现，推导出修正标记的激活阈值，并为基于强化学习的自我修正训练提供了收敛保证。
MV-Forcing 提出了一种扩散框架，结合时间自回归和视角自回归，生成动态场景的长时间多视角一致视频。通过使用4D几何桥梁和时空蒸馏，实现基于少步学生模型的任意长度视频生成。
本文解释AI token的昂贵原因：自回归生成过程需要逐token预测并重复计算整个上下文，导致计算量随上下文线性增长；编码智能体因多轮交互和文件读取会迅速累积超长上下文，进一步推高token开销。
Memento 是一个以主体重建为引导的框架，通过基于记忆的重建和双查询机制来保留重复出现的主体，从而改进长视频生成，在长期主体一致性和跨镜头连贯性方面达到了最先进的性能。
TBD-VLA 提出了一种离散的视觉-语言-动作框架，结合了块扩散与自回归生成，以实现高效的时序动作建模和更快的推理速度，在仿真和真实世界的操作任务中显著优于之前的 VLA 方法。
本文建立了一个关于自回归思维链推理的在线学习理论框架，分析了端到端监督和轨迹监督模型下的错误边界。