标签
论文提出了 VAE Rhythm,即 3D 因果 VAE 在 AI 生成视频中留下的周期性解码痕迹,并提出一种免训练的相位扫描方法来检测它。论文还提出了检测器 CaDet,它使用真实视频及其 VAE 重建结果配对进行训练,在 DF26 和 AIGVDBench 上超越了基线方法,覆盖了 Sora、Kling 3.0 和 Seedance 2.0 等闭源生成器。
该论文提出了 PixVid,一种通过用卷积头替换 VAE 解码器,将 Wan2.1-14B 等预训练潜空间视频扩散模型扩展到像素空间的方法,仅使用约 130 万个视频片段进行训练,即可实现更高分辨率、逐帧可控且质量具有竞争力的视频生成。
AMBIT是一个统一框架,通过将自回归场景规划与整流流(rectified-flow)渲染相耦合,实现一阶Ambisonics(FOA)空间音频的生成与编辑,并利用FOA感知的连续VAE与on-policy自蒸馏来保持空间结构和声学保真度。
本文研究了为什么在对潜在扩散模型进行强化学习微调时,VAE 潜在空间中的标准高斯先验 N(0,I) 可能失效,揭示了 KL 正则化会将多模态数据压缩到相互重叠的潜在区域,并展示了通过几何中介引入高斯混合先验,可将坍塌阈值提高至原来的 71 倍,相关理论已通过 Lean 4 验证。
RoAR-VAE提出通过从受损隐变量中鲁棒地预测语义与重建信息来改进视觉tokenizer,在保持重建保真度的同时提升下游扩散模型的可学习性,平均生成基准提升2.19分,小文本重建精度较FLUX.1-VAE提升16.93个百分点。
LightVAE 提出一种视频自编码器压缩框架,通过对因果 Conv3D 层的精确重参数化,将空间响应与时间修正分离,并对时间修正施加低秩压缩,从而在保持生成质量的同时显著加速视频 VAE 解码(在 WanVAE 上最高达 2.24 倍吞吐提升)。
SILSA 是一个拓扑感知的 3D 生成框架,用紧凑的滑动窗口切片隐变量和单阶段整流流(rectified-flow)生成取代开销巨大的体素 token,并利用持久图(persistence diagram)和基于 Betti 数的切片级拓扑监督。该方法在提升结构保真度(PSNR 提升 8.7%,Betti 误差降低 9.2%)的同时,将 token 数量削减 70%、显存降低 40.4%、推理时间缩短 58.5%。
PAMI 提出一种 Part-Anchored Motion 框架,通过身体部位锚点投票机制和粗到细的生成层级(PamiGen 与 PamiRefiner)实现文本条件下的全身人-物交互生成,在 InterAct 数据集上较此前 SOTA 提升 14.5% 的接触召回率。
本研究介绍了一种非侵入式基于VAE的潜空间适配方法,用于修正压气机叶栅开式叶尖间隙流动的CFD预测,与稀疏实验观测相比显著减少了误差。
PixSDS 识别了潜空间分数蒸馏采样中由 VAE 引起的像素漂移,并提出了一种梯度修复方法,该方法解码潜空间 SDS 的前瞻步骤以指导像素空间优化,从而减少文本到 3D 生成中的伪影。
本文研究了一项自监督任务,即使用带有量化VAE分词器的自回归Transformer生成单细胞基因表达向量。文中报告了单细胞基础模型的缩放定律和计算最优前沿,并讨论了针对扰动预测进行微调的潜力。
Kijai 分享了一个为 MiniMax-H3 快速训练的二维微型 VAE,旨在改进 ComfyUI 中的潜空间预览。还附上了由 madebyollin 训练的更好的替代方案。
Meshy T2 引入了一个基于流匹配的快速原生网格生成框架,结合顶点集网格 VAE,实现了最先进的几何保真度,端到端图像到网格生成中位时间仅 6 秒,比自回归基线快一个数量级以上。
OmniVAE是一种联合训练的音频-视频VAE,使用分段级对比学习和特征蒸馏来对齐潜在空间,从而提升文本到音频-视频生成中的联合生成质量和同步性。
提出了一种基于VAE的多任务语义通信框架,用于卫星辅助自动驾驶,在保持交通标志重建和分类性能的同时,实现了显著的带宽压缩。
介绍跨空间蒸馏,这是一种通过轻量级潜在接口Bridge,将知识从现代高容量扩散模型迁移到具有不同潜在空间的紧凑学生模型的方法,无需修改学生主干即可实现质量提升。
本文介绍了TopVAE,一种拓扑优化的变分自编码器,通过让解码器内化结构和化学约束来减少分子潜在扩散中的“暗区”,从而显著提高分子生成质量。
本文介绍了O-Voxel,一种用于3D生成建模的新型稀疏体素表示方法,能够高效处理复杂拓扑和外观,并训练了包含4B参数的大规模流匹配模型,实现了最先进的生成质量。