标签
WaveView 提出通过双树复小波包 Transformer,将经过形变的源视图注入预训练扩散生成器初始噪声的相位中,从而以极低开销实现新视图合成。它在 DL3DV 基准测试上优于所有基线,并将 AnyView 在动态 NVS 上的零样本 PSNR 从 11.58 提升至 12.35 dB。
论文提出 VODA,一种即插即用的体积监督目标,用于 3D Gaussian Splatting 分割。它按局部深度对逐像素贡献者进行分组,直接监督所选深度簇中的所有高斯,并发布了 Removal-3D 基准和 Removal Depth Error 度量,用于评估体积完整性。
PhysInsert 提出一种物理上合理的参考图像物体插入框架,通过几何引导适配与物体-场景双向空间监督,联合调整物体与环境的姿态、光照,并构建了 Insert World 数据集与 PhysInsert-Bench 评测基准。
CausalAlign 论文提出一种因果对齐框架,通过将扩散视频生成模型的内部表征与 3D 基础模型在 delta-token 空间中对齐,改善长时程相机自运动的一致性,在几何一致性上提升超过 20%,并提升了具身操作任务中世界动作模型的成功率。
提出在由2D基础模型导出的高维隐式3D潜在空间中直接进行扩散建模,实现3D-grounded的场景级3D生成,相比2D多视角方法在空间一致性和效率上更具优势,并验证了其在表示与模型容量上的可扩展性。
该论文提出了 K-Pop 压力测试基准,诊断了高速相机运动下相机与人体估计之间尺度不匹配导致的世界空间漂移问题,并提出一种无需重训练的闭式尺度校正方法,以实现稳定的多人世界空间重建。
Cepheid 提出将残差结构与物理尺度解耦,通过学习无量纲先验并从可观测量估计幅度,实现跨几何家族的稀疏到稠密运动补全,在未见过的布料和腿部动物等家族上超越谐波扩展方法,无需重训练即可应用于点跟踪动物视频和机器人抓取软体。
Pumpire 提出了一个统一的基准测试,用于评估图像和视频级 3D 基础模型的点对点物理距离估计能力,并构建了包含 100 个真实场景、6400 帧的大型数据集 pumpire-6k,对 29 种基线配置进行了全面对比实验。
NAMVIS 提出了一种无扩散框架,将稀疏视角多视图图像合成重新定义为几何条件下的下一尺度自回归任务,通过多尺度投影位姿编码将生成过程锚定到相机几何上。在 Objaverse、GSO 和 OmniObject3D 数据集上,NAMVIS 在 PSNR/SSIM/LPIPS 指标上超越了基于扩散的基线方法,同时运行速度快 3 倍以上。
MEgoVista 是 Maniformer 提出的离线处理流程,能够将未经准备的 ego 视角 MEgo View 录制转化为重力对齐世界坐标系下的度量化双手与头部运动。该流程利用经过标定的双目相机获取度量尺度,并将输出结果与独立的 Chingmu 光学动作捕捉进行验证。该工作将自身定位为演播室级设备的一种可扩展、无约束的替代方案,用于为机器人操作学习生成度量化手部监督信号。
COSMI 是一项关于多物体人机物交互合成的研究,提出了由单物体捕捉合成的 222k 序列 / 275 小时大规模数据集,以及一个 3000 万参数的文本到交互扩散 Transformer,可生成 1 到 5 个物体的交互,并能在未见物体与未见交互组合上泛化。
提出了Self-Geometry,一种即插即用的测试时自适应流程,利用2D像素对应关系施加显式的多视图几何约束,以改进几何一致的3D视觉基础模型。
3DZip是一个面向3D视觉语言模型的三阶段令牌压缩框架,利用体素化、多样性引导的锚点选择和空间约束合并来减少令牌数量,同时保持空间推理能力。在3DQA基准上,仅使用128个令牌即可保留94.7%的原始性能,并实现1.92倍的推理加速。
MetaView 提出了一种基于扩散的单目新视角合成框架,该框架结合了隐式几何先验与度量深度引导,能够在单张图像的大视角变化下实现一致且可控的渲染。
本文介绍了一个后训练框架,利用SAM3D的3D先验来改进2D基础特征中的语义对应,解决了左右混淆和重复部分等问题。该方法使用实例特定的3D重建,无需姿态注释或球面几何捷径。
SpatialBench是一个综合基准,用于评估跨不同领域和任务的空间基础模型,揭示了当前模型的局限性,并引入了DA-Next-5M和DA-Next以推动空间表示学习。
A Zhejiang University researcher shared a comprehensive PhD guide on GitHub, covering the entire research lifecycle from topic selection to rebuttals, specifically tailored for the 3D Vision direction.