video-diffusion

标签

Cards List
#video-diffusion

AURA:音频驱动的流式数字人(AUdio-dRiven streaming Avatar)

Hugging Face Daily Papers ↗ · 3天前 缓存

AURA 是一个音频驱动的流式数字人系统,通过滚动 KV 缓存和两阶段蒸馏管线实现低延迟的因果视频生成,发布了 1.3B 和 5B 两个模型,可在单张 GPU 上实时生成说话人头视频,并附带 3 万条合成视频及教师模型轨迹数据。

0 人收藏 0 人点赞
#video-diffusion

一个先验,两种动力学:将视频扩散 Transformer 用于自监督潜在动作学习

Hugging Face Daily Papers ↗ · 3天前 缓存

O2LaF 复用一个共享的预训练视频 DiT,从无标签视频中学习潜在动作的逆向和前向动力学,在导航和机器人操作任务中,实现了最先进的少样本动作探测和零样本动作迁移性能。

0 人收藏 0 人点赞
#video-diffusion

JVT:Just Video Transformer 让像素空间视频扩散变得更简单

Hugging Face Daily Papers ↗ · 2026-11-13 缓存

论文提出了 JVT(Just Video Transformer),一种简单的大 patch DiT 风格 Transformer,无需预训练自编码器或 U-Net 跳跃连接即可实现像素空间视频扩散,其生成质量可与潜在扩散基线相媲美,并支持相机条件下的 RGB-视差联合生成。

0 人收藏 0 人点赞
#video-diffusion

回归像素:将潜空间视频扩散提升至像素空间

Hugging Face Daily Papers ↗ · 2026-11-12 缓存

该论文提出了 PixVid,一种通过用卷积头替换 VAE 解码器,将 Wan2.1-14B 等预训练潜空间视频扩散模型扩展到像素空间的方法,仅使用约 130 万个视频片段进行训练,即可实现更高分辨率、逐帧可控且质量具有竞争力的视频生成。

0 人收藏 0 人点赞
#video-diffusion

Disen-Forcing:面向自回归视频扩散的语义锚定与运动解耦

Hugging Face Daily Papers ↗ · 2026-11-02 缓存

Disen-Forcing 是一种用于自回归视频扩散模型的蒸馏阶段插件,通过利用注意力头的专门化特性,将语义锚定与运动解耦,在长程一致性和运动动态表现方面均优于现有的帧汇聚(frame-sink)方法。

0 人收藏 0 人点赞
#video-diffusion

L3G-World:基于潜在3D高斯记忆的实时无限世界生成

Hugging Face Daily Papers ↗ · 2026-10-29 缓存

L3G-World 提出了一种紧凑的潜在 3D 高斯记忆(L3G),与视频扩散 Transformer(DiT)交替进行自回归更新,以实现实时、长时程空间一致的交互式无限世界生成,在 9 FPS 下实现了最先进生成质量与显著的效率提升。

0 人收藏 0 人点赞
#video-diffusion

AB-Attention:用于加速视频扩散 Transformer 的精确块注意力

Hugging Face Daily Papers ↗ · 2026-10-29 缓存

AB-Attention提出一种免训练的块稀疏注意力方法,通过块内聚类选择、包含概率加权采样和细粒度核收集来近似稠密注意力,在Wan2.1和HunyuanVideo上跳过89-92%注意力计算,同时PSNR提升最高4.4dB,端到端加速最高2.23倍。

0 人收藏 0 人点赞
#video-diffusion

稀疏度应由输出决定:视频扩散 Transformer 中块稀疏注意力的免训练分配

Hugging Face Daily Papers ↗ · 2026-10-21 缓存

提出 ALLOT:一种免训练的块稀疏注意力分配方法,通过细胞探测与轨迹校准在延迟预算内优化视频扩散 Transformer 各层-步的稀疏度,在 HunyuanVideo 上实现 11.8 dB PSNR 提升。

0 人收藏 0 人点赞
#video-diffusion

RealMe:从最少采集生成沉浸式体积视频

Hugging Face Daily Papers ↗ · 2026-10-21 缓存

RealMe 是一个基于高分辨率视频扩散模型的统一框架,能从稀疏、低分辨率的多视角采集生成 2K 分辨率且 4D 一致的沉浸式体积视频,通过布局感知注意力和频域潜空间监督,在 DNA-Rendering 基准和自建 RealVV 数据集上超越现有方法。

0 人收藏 0 人点赞
#video-diffusion

Holo4D:以整体四维重建作为视频扩散的几何控制

Hugging Face Daily Papers ↗ · 2026-10-18 缓存

Holo4D 是一个视频重拍框架,利用重建的 3D 轨迹骨架来引导预训练的视频扩散模型进行新视角视频合成,在保留场景几何结构和运动的同时,以生成方式补全未观测区域,无需重新训练生成器。

0 人收藏 0 人点赞
#video-diffusion

AffordanceWAM:面向机器人操控的可供性感知联合世界-动作建模

Hugging Face Daily Papers ↗ · 2026-10-18 缓存

AffordanceWAM 提出一种感知可供性(affordance)的生成式世界-动作模型,利用人类视频中的可供性表征联合预测未来场景与机器人动作,无需人类动作标注即可实现人类到机器人的迁移,并在 RoboCasa、CALVIN 等基准上取得一致提升。

0 人收藏 0 人点赞
#video-diffusion

面向视频世界模型的持久化平面记忆

Hugging Face Daily Papers ↗ · 2026-10-16 缓存

PPMem 是一种视频世界模型,以紧凑的平面基元作为持久化 3D 记忆,联合生成长时序连贯的视频,同时输出显式的度量深度、法线和可导出的表面,在 DL3DV 和 RealEstate10K 数据集上优于此前的 3D 基础世界模型。

0 人收藏 0 人点赞
#video-diffusion

AcrossVAM2.0:用于参数高效视频扩散适配的冲突感知点监督

arXiv cs.AI ↗ · 2026-10-15 缓存

AcrossVAM2.0 提出一种冲突感知的点对应监督方法,用于参数高效的视频扩散模型适配,通过置信度加权跟踪头、零初始化残差反馈和非对称 PCGrad,在保持预训练外观先验的同时提升对应一致性,但并不均匀改善视频质量。

0 人收藏 0 人点赞
#video-diffusion

Velox:空间记忆让世界模型更高效

Hugging Face Daily Papers ↗ · 2026-10-15 缓存

Velox 提出一种免训练的注意力路由器,利用相机视锥切片的几何对应关系进行区域级上下文选择,从而加速长视频生成中的 KV 缓存处理。在第 48 个 chunk 时注意力加速 4.36 倍、去噪加速 2.43 倍,且在 WBench 导航基准上几乎不损失质量。

0 人收藏 0 人点赞
#video-diffusion

GeoFix:面向4D一致生成的几何修复

Hugging Face Daily Papers ↗ · 2026-10-09 缓存

GeoFix提出了一种统一框架,通过单一几何奖励提升4D生成中的几何一致性和视觉质量,该奖励衡量静态区域的跨视角深度一致性,并针对视角重叠效应进行校准,实现了WorldScore 3D一致性提升39%和VBench质量提升4%。

0 人收藏 0 人点赞
#video-diffusion

ForcingBooster:用于快速自回归视频扩散的自适应分块去噪

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

ForcingBooster 提出一种自适应逐 patch 去噪框架,根据视频块难度动态分配去噪步数,在保持画质的同时将总去噪步数减少约 50%,加速自回归视频扩散模型的生成。

0 人收藏 0 人点赞
#video-diffusion

SGF+:解耦自回归视频生成中的梯度流

Hugging Face Daily Papers ↗ · 2026-10-07 缓存

论文提出 Self Gradient Forcing Plus(SGF+),通过为上下文写入与去噪角色解耦参数并保留因果注意力交互,显著提升自回归视频生成的视觉质量与长时一致性,仅用5秒训练片段即可支持长达24小时的连续生成。

0 人收藏 0 人点赞
#video-diffusion

CoRe:协同演化奖励模型,缓解视频扩散模型中的潜在奖励作弊

arXiv cs.AI ↗ · 2026-09-30 缓存

CoRe 提出了一种协同演化的潜在奖励框架,在生成器当前样本上持续重训奖励模型,同时以真实视频偏好作为锚点,防止 Wan2.1-T2V-1.3B 等视频扩散模型中的潜在奖励作弊与质量崩塌。

0 人收藏 0 人点赞
#video-diffusion

奏响和弦!模态动态字体

Hugging Face Daily Papers ↗ · 2026-09-29 缓存

本文提出模态动态字体技术,通过求解有限元特征值问题,利用矢量字形的固有振动模态构建运动,并借助冻结的视频扩散模型监督各模态的幅度与相位,从而生成流畅、清晰且富有概念表达力的字母动画。

0 人收藏 0 人点赞
#video-diffusion

突破均匀性陷阱:通过SplitMoE扩展视频扩散模型

Hugging Face Daily Papers ↗ · 2026-09-29 缓存

提出了SplitMoE,一种分裂角色稀疏架构,旨在打破Mixture-of-Experts (MoE)中的均匀性,以扩展视频扩散模型,提高收敛速度和视频生成质量。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈