论文页面 - PhysInsert：利用几何先验和双向物体-场景交互实现物理合理的物体插入

来源：https://huggingface.co/papers/2610.40453

摘要

PhysInsert 通过几何引导的适配以及基于对齐反事实数据的空间监督，联合调整物体与场景，实现物理上合理的物体插入。

我们提出了 PhysInsert (https://huggingface.co/papers?q=PhysInsert)，这是一个基于参考图像、用于实现物理合理物体插入的框架，能够联合调整物体及其周围场景。现有方法通常依赖掩码输入、基于生成的数据对，或视角变化有限的训练数据对，导致姿态和光照适配 (https://huggingface.co/papers?q=illumination%20adaptation)以及双向物体-场景交互缺乏充分约束。我们构建了 Insert World 数据集，其中包含由 Blender 渲染的严格对齐的反事实数据对 (https://huggingface.co/papers?q=counterfactual%20pairs)，以及不同视角和光照条件下的物体参考图像。基于这些数据，几何引导适配 (https://huggingface.co/papers?q=Geometry-Guided%20Adaptation)在目标场景特征监督下，将 VGGT (https://huggingface.co/papers?q=VGGT)几何流与图像流和文本流相结合，以引导空间一致的物体插入。作为补充，二维物体-场景空间监督 (https://huggingface.co/papers?q=Object-Scene%20Spatial%20Supervision)联合监督物体占据区域和环境变化，同时通过图像-文本注意力将空间指令对应到物体区域。我们还推出了 PhysInsert (https://huggingface.co/papers?q=PhysInsert)-Bench，其中专门设置了跨环境和跨视角案例，要求模型进行超越外观复制的光照与姿态适配 (https://huggingface.co/papers?q=pose%20adaptation)。在 PhysInsert (https://huggingface.co/papers?q=PhysInsert)-Bench 和 DreamBooth 上的实验表明，图像保真度有所提升；用户研究进一步表明，该方法的放置位置更加准确，光照融合、透视和姿态合理性也得到改善。

查看 arXiv 页面 (https://arxiv.org/abs/2610.40453)查看 PDF (https://arxiv.org/pdf/2610.40453)项目页面 (https://arthuring.github.io/PhysInsert/)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.40453)

引用此论文的模型0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.40453，即可从此页面链接到该模型。

引用此论文的数据集0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.40453，即可从此页面链接到该数据集。

引用此论文的 Spaces0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.40453，即可从此页面链接到该 Space。

包含此论文的合集0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集。