标签
提出 ALLOT:一种免训练的块稀疏注意力分配方法,通过细胞探测与轨迹校准在延迟预算内优化视频扩散 Transformer 各层-步的稀疏度,在 HunyuanVideo 上实现 11.8 dB PSNR 提升。
RealMe 是一个基于高分辨率视频扩散模型的统一框架,能从稀疏、低分辨率的多视角采集生成 2K 分辨率且 4D 一致的沉浸式体积视频,通过布局感知注意力和频域潜空间监督,在 DNA-Rendering 基准和自建 RealVV 数据集上超越现有方法。
AffordanceWAM 提出一种感知可供性(affordance)的生成式世界-动作模型,利用人类视频中的可供性表征联合预测未来场景与机器人动作,无需人类动作标注即可实现人类到机器人的迁移,并在 RoboCasa、CALVIN 等基准上取得一致提升。
PPMem 是一种视频世界模型,以紧凑的平面基元作为持久化 3D 记忆,联合生成长时序连贯的视频,同时输出显式的度量深度、法线和可导出的表面,在 DL3DV 和 RealEstate10K 数据集上优于此前的 3D 基础世界模型。
AcrossVAM2.0 提出一种冲突感知的点对应监督方法,用于参数高效的视频扩散模型适配,通过置信度加权跟踪头、零初始化残差反馈和非对称 PCGrad,在保持预训练外观先验的同时提升对应一致性,但并不均匀改善视频质量。
Velox 提出一种免训练的注意力路由器,利用相机视锥切片的几何对应关系进行区域级上下文选择,从而加速长视频生成中的 KV 缓存处理。在第 48 个 chunk 时注意力加速 4.36 倍、去噪加速 2.43 倍,且在 WBench 导航基准上几乎不损失质量。
GeoFix提出了一种统一框架,通过单一几何奖励提升4D生成中的几何一致性和视觉质量,该奖励衡量静态区域的跨视角深度一致性,并针对视角重叠效应进行校准,实现了WorldScore 3D一致性提升39%和VBench质量提升4%。
ForcingBooster 提出一种自适应逐 patch 去噪框架,根据视频块难度动态分配去噪步数,在保持画质的同时将总去噪步数减少约 50%,加速自回归视频扩散模型的生成。
论文提出 Self Gradient Forcing Plus(SGF+),通过为上下文写入与去噪角色解耦参数并保留因果注意力交互,显著提升自回归视频生成的视觉质量与长时一致性,仅用5秒训练片段即可支持长达24小时的连续生成。
CoRe 提出了一种协同演化的潜在奖励框架,在生成器当前样本上持续重训奖励模型,同时以真实视频偏好作为锚点,防止 Wan2.1-T2V-1.3B 等视频扩散模型中的潜在奖励作弊与质量崩塌。
本文提出模态动态字体技术,通过求解有限元特征值问题,利用矢量字形的固有振动模态构建运动,并借助冻结的视频扩散模型监督各模态的幅度与相位,从而生成流畅、清晰且富有概念表达力的字母动画。
提出了SplitMoE,一种分裂角色稀疏架构,旨在打破Mixture-of-Experts (MoE)中的均匀性,以扩展视频扩散模型,提高收敛速度和视频生成质量。
FlashForward 介绍了一种通过重用飞行中 KV 缓存和使用清洁锚点来加速自回归视频扩散的方法,在保持质量的同时实现了高达 2.92 倍的速度提升。
Mask Forcing通过在自回归视频扩散蒸馏的自滚动过程中注入掩码清洁信号来缓解模式崩溃,在不需要额外训练数据的情况下提高视觉质量。
Ring Forcing 是一个自回归视频扩散框架,通过环形结构训练、历史压缩和稀疏旋转嵌入,增强长期记忆以实现精确的分钟级视频连贯性。
4DAnyone通过生成多视角一致视频并将其提升到4D高斯溅射,从单目视频重建4D人物,并使用参考和目标上下文设计来解决扩展瓶颈。
AnyTalk 通过角色特定微调适应视频扩散模型,并优化混合形状参数,无需动画数据即可为任意角色生成 3D 语音动画,并提供实时蒸馏变体。
Marionette引入了一种世界模型,该模型显式预测用于交互式游戏的三维关节状态,通过零参数渲染器解耦几何渲染,并使用扩散模型进行外观合成,提高了可控性和长期一致性。
SCoPE 是 TencentARC 提出的一个模型,它将相机视线作为位置坐标添加到预训练的视频扩散 Transformer 中,从而能够在保持图像到视频先验的同时实现相机轨迹控制。该发布包含一个用于 Wan2.2-I2V-A14B 推理的自包含检查点。
LiveAnimate 提出了一个14B参数的视频扩散Transformer,通过PR-Sink注意力机制实现了实时、长时、姿态驱动的人体动画,具有稳定流式生成和恒定内存占用。在两个H100 GPU上实现了19.63 FPS的推理速度,在长达三分钟的流中保持质量。