论文页面 - EgoPhys：从第一人称视频中学习可变形物体的通用物理模型

来源：https://huggingface.co/papers/2606.16202

摘要

EgoPhys 通过使用通用先验和紧凑码本，从第一人称 RGB 视频中生成可变形数字孪生，无需针对每个弹簧进行优化即可预测稠密弹簧刚度场。

人类通过日常交互自然理解物体物理，但准确预测复杂的可变形动力学（如弹性材料和织物）仍是计算机视觉和机器人领域的主要挑战。我们提出 EgoPhys，这是一个利用通用先验 (https://huggingface.co/papers?q=generalizable%20priors) 从仅含 RGB 的第一人称视频构建可变形物理数字孪生的框架。EgoPhys 通过将每个物体的逆物理求解 (https://huggingface.co/papers?q=inverse-physics%20solutions) 蒸馏到紧凑码本 (https://huggingface.co/papers?q=codebook) 中，克服了现有方法的局限，使得从第一人称视频生成可控可变形数字孪生成为可能——无需在测试时对每个弹簧进行优化即可预测稠密弹簧刚度场 (https://huggingface.co/papers?q=dense%20spring%20stiffness%20fields)。利用来自多样化第一人称交互的通用先验进行训练，EgoPhys 在重建、未来预测和零样本泛化 (https://huggingface.co/papers?q=zero-shot%20generalization) 方面优于基线方法。为支持训练与评估，我们整理了一个覆盖多种可变形物体、场景和操作风格的第一人称交互数据集。我们将 EgoPhys 部署在一台真实的 xArm6 机器人 (https://huggingface.co/papers?q=xArm6%20robot) 上，展示了从单段第一人称人类操作视频初始化的数字孪生可作为内部世界表示，辅助可变形物体的规划，凸显了第一人称 RGB 观测作为通向实到仿真流程 (https://huggingface.co/papers?q=real-to-sim%20pipelines) 的可扩展路径。

查看 arXiv 页面 (https://arxiv.org/abs/2606.16202)查看 PDF (https://arxiv.org/pdf/2606.16202)项目页面 (https://hjhyunjinkim.github.io/EgoPhys/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.16202)

在您的代理中获取此论文：

hf papers read 2606\.16202

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.16202 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.16202 以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.16202 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

添加此论文到一个收藏集 (https://huggingface.co/new-collection) 以从此页面链接。