PhysisForcing:面向机器人操作的物理增强世界模拟器

Hugging Face Daily Papers 论文

摘要

PhysisForcing 是一种训练框架,通过基于 DiT 架构的像素级轨迹对齐和语义级关系对齐损失来强制物理一致性,从而增强机器人操作的具身视频生成,在基准测试上取得了显著改进。

视频生成模型已成为具身世界模拟的一种有前景的范式。然而,通用域视频生成器和机器人专用数据微调模型仍可能产生物理上不合理的操作,包括不连续的运动轨迹和不一致的机器人-物体交互,这限制了它们作为世界模拟器的可靠性。通过大量实验,我们发现这种物理不稳定性主要源于两个因素:移动物体的变形以及交互实体之间不合理的时空相关性,尤其是在接触过程中。基于这一观察,我们提出了 PhysisForcing,一种可扩展的训练框架,通过联合优化像素级和语义级特征,将监督集中在物理信息丰富的区域,从而增强物理一致性。该框架包括一个像素级轨迹对齐损失(使用参考点轨迹监督 DiT 特征)和一个语义级关系对齐损失(将 DiT 特征与从冻结的视频理解编码器中提取的区域间关系对齐)。在 R-Bench、PAI-Bench 和 EZS-Bench 上的大量实验表明,PhysisForcing 相比强基线持续提升了具身视频生成,在 R-Bench 上将 Wan2.2-I2V-A14B 和 Cosmos3-Nano 基础模型分别提升了 22.3\% 和 9.2\%(相比普通微调提升 7.1\% 和 3.7\%),其中 Cosmos3-Nano 变体取得了最佳整体分数。在生成之外,作为 WorldArena 动作规划协议下的世界模型,它将闭环成功率从 16.0\% 提高到 24.0\%,并进一步提升了下游策略的成功率,表明物理对齐的视频模型为机器人操作提供了更强的表示。
查看原文
查看缓存全文

缓存时间: 2026/06/29 02:00

Paper page - PhysisForcing: 物理增强的世界模拟器,用于机器人操作

来源: https://huggingface.co/papers/2606.28128 发布于 6月26日

#1 每日论文 (https://huggingface.co/papers/date/2026-06-29) 作者:

,

,

,

,

,

,

,

,

,

,

,

,

摘要

PhysisForcing 通过基于 DiT 的框架中像素级轨迹对齐损失和语义级关系对齐损失来强制执行物理一致性,从而增强具身视频生成。

视频生成模型 (https://huggingface.co/papers?q=Video%20generation%20models) 已成为具身世界模拟 (https://huggingface.co/papers?q=embodied%20world%20simulation) 的一种有前景的范式。然而,通用视频生成器和机器人特定数据微调模型都仍可能产生物理上不合理的操作,包括不连续的运动轨迹和不一致的机器人-物体交互,这限制了它们作为世界模拟器的可靠性。通过大量实验,我们发现这种物理不稳定性主要源于两个因素:运动物体的变形以及交互实体间(尤其是在接触期间)不可信的时空关联。基于这一观察,我们提出了 PhysisForcing,一个可扩展的训练框架,通过联合优化像素级和语义级特征来加强对物理信息区域的监督,从而增强物理一致性 (https://huggingface.co/papers?q=physical%20consistency)。该框架包括一个像素级轨迹对齐损失 (https://huggingface.co/papers?q=pixel-level%20trajectory%20alignment%20loss),该损失使用参考点轨迹监督 DiT 特征 (https://huggingface.co/papers?q=DiT%20features);以及一个语义级关系对齐损失 (https://huggingface.co/papers?q=semantic-level%20relational%20alignment%20loss),该损失将 DiT 特征 (https://huggingface.co/papers?q=DiT%20features) 与从冻结的视频理解编码器 (https://huggingface.co/papers?q=video%20understanding%20encoder) 提取的区域间关系对齐。在 R-Bench (https://huggingface.co/papers?q=R-Bench)、PAI-Bench (https://huggingface.co/papers?q=PAI-Bench) 和 EZS-Bench (https://huggingface.co/papers?q=EZS-Bench) 上的大量实验表明,PhysisForcing 在强基线之上持续改进了具身视频生成,使 Wan2.2-I2V-A14B 和 Cosmos3-Nano 基础模型在 R-Bench (https://huggingface.co/papers?q=R-Bench) 上分别提升了 22.3% 和 9.2%(相对于普通微调提升了 7.1% 和 3.7%),其中 Cosmos3-Nano 变体取得了最佳总体得分。除了生成之外,作为 WorldArena (https://huggingface.co/papers?q=WorldArena) 行动规划器协议 (https://huggingface.co/papers?q=action-planner%20protocol) 下的一个世界模型,它将闭环成功率 (https://huggingface.co/papers?q=closed-loop%20success%20rate) 从 16.0% 提高到 24.0%,并进一步提升了下游策略的成功率,表明物理对齐的视频模型能为机器人操作 (https://huggingface.co/papers?q=robotic%20manipulation) 提供更强有力的表征。

查看 arXiv 页面 (https://arxiv.org/abs/2606.28128)查看 PDF (https://arxiv.org/pdf/2606.28128)项目页面 (https://dagroup-pku.github.io/PhysisForcing.github.io/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.28128)

在您的 agent 中获取此论文:

hf papers read 2606.28128

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

在模型的 README.md 中引用 arxiv.org/abs/2606.28128 即可从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集的 README.md 中引用 arxiv.org/abs/2606.28128 即可从此页面链接。

引用此论文的 Spaces0

没有 Space 链接到此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2606.28128 即可从此页面链接。

包含此论文的收藏集0

没有包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。

相似文章

PhysiFormer: 在世界空间中学习模拟力学

Hugging Face Daily Papers

PhysiFormer 使用坐标空间扩散生成物理上合理的3D物体运动,无需显式归纳偏置,实现了高效的多物体推理以及对复杂材料和几何形状的泛化。