ExPhy：多对象轨迹预测中的显式物理属性学习基准测试

# 多物体轨迹预测中的显式物理属性学习基准
来源：https://arxiv.org/html/2608.20009
###### 摘要

理解物体动力学不仅需要预测未来轨迹，还需检验模型是否捕捉到支配运动的物理属性。然而，现有基准很少在轨迹预测任务中显式地将物体级物理属性作为独立评估目标。为填补这一空白，我们推出了**ExPhy**——一个包含24,000个模拟物理场景的多物体轨迹预测基准，提供质量、摩擦和恢复系数等显式物体级标注。ExPhy同时提供观测与未来轨迹，并划分为分布内（ID）分割以及两个分布外（OOD）分割——物理参数分布外（OOD-Parameter）与初始状态分布外（OOD-Initial），以实现轨迹预测与物理属性估计的联合评估。我们进一步构建了**PhyODE**，这是一种具有显式属性接口的物理引导模型，能从观测轨迹估计物理属性，并用于可微分的未来轨迹推演。在长时程OOD-Initial设置下，与最强基线相比，PhyODE分别将ADE和FDE降低了33.1%和31.0%。在ComPhy上的零样本评估进一步检验了跨基准迁移能力。属性层面的分析表明，精确的轨迹预测并不必然意味着对底层物理属性的准确恢复。代码与数据已开源：https://github.com/Zest86/ExPhy。

## 引言

理解物体动力学是物理推理的核心问题，因为从观测轨迹预测未来运动需要考虑支配物体运动与交互的物理属性 (2 (https://arxiv.org/html/2608.20009#bib.bib23); 26 (https://arxiv.org/html/2608.20009#bib.bib25))。人类从早期发展就展现出直觉物理推理能力，例如预判运动、碰撞结果及材料响应 (7 (https://arxiv.org/html/2608.20009#bib.bib29); 21 (https://arxiv.org/html/2608.20009#bib.bib9); 29 (https://arxiv.org/html/2608.20009#bib.bib11))。在动态多物体交互中，质量、摩擦和恢复系数等属性分别主导着惯性响应、切向接触行为及碰撞反弹。现有以物体为中心的动力学评估通常聚焦于未来状态或预测轨迹，而底层物体属性的估计往往被单独评估或完全忽略。这种区分至关重要，因为低轨迹误差并不等同于准确的物理属性估计。因此，我们主张在轨迹预测评估中纳入显式物体级属性学习。

> 图示标题 图1：现有基准与所提出的ExPhy基准对比。（a）现有基准主要监督未来状态，而物体级物理属性常以隐式或间接方式表示，无法作为独立评估目标。（b）ExPhy为质量、摩擦和恢复系数提供显式连续值标注，实现轨迹预测与物理属性估计的联合评估。
> 表1：代表性物理推理基准对比。∘表示具有属性依赖评估但无直接属性目标。Obj.表示直接物体级属性评估；Cont.表示连续参数回归；Traj.表示轨迹级预测；OOD表示可控分布偏移协议。
> 
> | 数据集 | 物理属性评估 | 轨迹评估 | OOD评估 | 物体级 | 连续 | 轨迹 | OOD |
> |--------|--------------|----------|---------|--------|------|------|-----|
> | CLEVRER[ICLR20] | × | × | × | × | × | × | × |
> | Super-CLEVR[CVPR23] | × | × | × | × | × | × | ✓ |
> | Physion++[NeurIPS23] | ∘ | × | × | × | × | × | × |
> | ComPhy[TPAMI25] | ✓ | × | × | × | × | × | × |
> | PhysBench[ICLR25] | ✓ | × | × | × | × | × | × |
> | PhysInOne[CVPR26] | ✓ | ✓ | × | × | × | × | × |
> | ExPhy (本文) | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |

尽管近期在物理推理和动态预测方面取得进展，现有基准仍主要强调未来状态预测或任务特定推理，包括未来状态预测、物理问答和事件合理性判断 (33 (https://arxiv.org/html/2608.20009#bib.bib2); 25 (https://arxiv.org/html/2608.20009#bib.bib3); 3 (https://arxiv.org/html/2608.20009#bib.bib26); 4 (https://arxiv.org/html/2608.20009#bib.bib30))。如图1 (https://arxiv.org/html/2608.20009#Sx1.F1)所示并在表1 (https://arxiv.org/html/2608.20009#Sx1.T1)中总结，物体级物理因素常以隐式或间接方式呈现，而非作为独立物体级评估目标。为填补这一空白，我们推出**ExPhy**——一个用于多物体轨迹预测中轨迹与属性联合评估的基准。ExPhy包含24k模拟动态场景，提供观测与未来轨迹及显式物体级质量、摩擦与恢复系数标注。配合专门的分布内（ID）和分布外（OOD）分割，该基准支持轨迹预测、物理属性估计及可控分布偏移下泛化能力的统一评估。

借助ExPhy，我们区分两个互补问题：模型能否准确预测未来轨迹，以及其估计的物理属性是否与底层模拟器参数一致。现有轨迹预测模型通常通过图交互、Transformer或潜变量动力学模型直接从观测轨迹学习未来状态 (16 (https://arxiv.org/html/2608.20009#bib.bib12); 11 (https://arxiv.org/html/2608.20009#bib.bib32); 12 (https://arxiv.org/html/2608.20009#bib.bib33); 18 (https://arxiv.org/html/2608.20009#bib.bib31); 27 (https://arxiv.org/html/2608.20009#bib.bib34); 9 (https://arxiv.org/html/2608.20009#bib.bib13); 10 (https://arxiv.org/html/2608.20009#bib.bib14))。尽管在ADE/FDE指标上表现优异，其内部变量未必对应具有物理意义的属性。为实例化ExPhy评估，我们开发了**PhyODE**——一种物理引导的混合模型，能从观测轨迹估计物体级物理属性，并将其用于可微分的未来推演。属性标签作为训练监督信号，但不作为推理输入。我们在ID和OOD设置下评估PhyODE，进行到ComPhy的零样本迁移，并分析物体级属性估计。这些实验共同揭示了精确轨迹预测与精确物理属性估计之间的区别。

主要贡献总结如下：
（1）我们推出**ExPhy**基准，包含24k具有显式物体级质量、摩擦与恢复系数标注的多物体场景，以及ID、OOD-Parameter和OOD-Initial评估协议。
（2）我们开发了**PhyODE**——一种具有显式属性接口的物理引导混合模型，能从观测轨迹估计物体级物理属性并用于可微分的未来推演。
（3）大量实验展示了具有竞争力的ID/OOD及跨基准预测性能，并揭示轨迹精度与物理属性精度是相关但不同的评估维度。

## 相关工作

#### 物理推理基准
现有基准评估物理理解的不同方面。CLEVRER (33 (https://arxiv.org/html/2608.20009#bib.bib2))聚焦因果与未来事件推理，而Super-CLEVR (17 (https://arxiv.org/html/2608.20009#bib.bib4))引入可控领域偏移以支持组合式视觉推理。Physion与Physion++ (3 (https://arxiv.org/html/2608.20009#bib.bib26); 24 (https://arxiv.org/html/2608.20009#bib.bib7))主要评估未来接触或结果预测，需要推断潜在机械属性。ComPhy (4 (https://arxiv.org/html/2608.20009#bib.bib30))通过分类目标直接评估物体级质量与电荷，而PhysBench (5 (https://arxiv.org/html/2608.20009#bib.bib41))通过多选题评估更广泛的物理属性。PhysInOne (40 (https://arxiv.org/html/2608.20009#bib.bib40))进一步支持连续参数估计与基于物理的重模拟。总体而言，先前基准通过不同协议处理属性推理、未来预测和分布偏移。ExPhy则统一了显式连续物体级属性评估、未来轨迹预测及对物理参数与初始状态的可控外推。

#### 轨迹与动力学预测
轨迹预测方法利用循环网络 (1 (https://arxiv.org/html/2608.20009#bib.bib22); 20 (https://arxiv.org/html/2608.20009#bib.bib15))、Transformer (37 (https://arxiv.org/html/2608.20009#bib.bib21); 39 (https://arxiv.org/html/2608.20009#bib.bib20))、交互模型或生成框架 (10 (https://arxiv.org/html/2608.20009#bib.bib14); 9 (https://arxiv.org/html/2608.20009#bib.bib13)) 预测未来运动。尽管在ADE/FDE指标上表现强劲，其表征未必对应具有物理意义的物体属性。物理信息方法引入解析动力学、可微分模拟器或结构约束 (23 (https://arxiv.org/html/2608.20009#bib.bib10); 14 (https://arxiv.org/html/2608.20009#bib.bib17); 31 (https://arxiv.org/html/2608.20009#bib.bib16))，而神经ODE方法 (13 (https://arxiv.org/html/2608.20009#bib.bib35); 27 (https://arxiv.org/html/2608.20009#bib.bib34); 19 (https://arxiv.org/html/2608.20009#bib.bib36); 34 (https://arxiv.org/html/2608.20009#bib.bib27))建模连续时间演化。然而，这些模型通常使用纠缠潜变量，缺乏对命名物理属性的直接监督或评估。

#### 物理属性学习
相关研究从视觉观测或交互中推断隐藏物理属性。潜变量动力学方法 (2 (https://arxiv.org/html/2608.20009#bib.bib23); 26 (https://arxiv.org/html/2608.20009#bib.bib25); 41 (https://arxiv.org/html/2608.20009#bib.bib19))在无需可解释变量的情况下编码物理信息。直接估计器预测质量、材料或交互参数等量，但可能依赖外观线索 (28 (https://arxiv.org/html/2608.20009#bib.bib24); 22 (https://arxiv.org/html/2608.20009#bib.bib5))、语义先验 (35 (https://arxiv.org/html/2608.20009#bib.bib6))、多视角观测 (15 (https://arxiv.org/html/2608.20009#bib.bib18)) 或基础模型 (36 (https://arxiv.org/html/2608.20009#bib.bib28))。属性估计通常与未来轨迹预测分开评估。PhyODE则从观测轨迹估计质量、摩擦和恢复系数，并将其整合到可微分推演中，实现单一模型内的轨迹与属性评估。

## ExPhy基准

我们推出**ExPhy**——一个用于联合评估多物体轨迹预测与显式物理属性估计的基准。ExPhy提供观测与未来轨迹、物体级质量/摩擦/恢复系数标注，以及物理参数与初始状态的可控分布偏移。

**问题定义**  
每个ExPhy实例包含N个交互物体的观测轨迹。对于每个物体i∈{1,...,N}，记其在时间步t的3D位置为xt_i=[xt_i,yt_i,zt_i]⊤∈ℝ³，观测轨迹为Xi,obs=(xi1,...,xiT_obs)。将所有物体轨迹集合记为X_obs=(X1,obs,...,XN,obs)∈ℝ^{N×T_obs×3}。给定X_obs，主要任务是预测未来T_pred步的轨迹X_pred∈ℝ^{N×T_pred×3}。ExPhy额外为每个物体提供显式属性向量pi=[mi,μi,ei]⊤，分别对应质量、摩擦和恢复系数。这些标签不作为推理输入，而是支持属性监督训练与属性级评估。

> 图示标题 图2：ExPhy基准概览。（a）基准构建与标注流程。（b）ID、OOD-Parameter与OOD-Initial评估协议。蓝色与红色分别表示ID和OOD变量；蓝色虚线框与红色阴影区域标记其范围，箭头表示初始速度。
> 表2：ExPhy各分割的采样范围与支持域。摩擦和恢复系数在采样前会随机选择两个区间之一。ExPhy-B改变物理属性分布，ExPhy-C改变初始状态分布。"Same"表示与ExPhy-A设置一致。
> 
> | 变量 | ExPhy-A | ExPhy-B | ExPhy-C |
> |------|---------|---------|---------|
> | **物理属性** | | | |
> | 质量m | [0.1,10] | [0.1,10] | [10.01,15] |
> | | [10.01,15] | Same | Same |
> | 摩擦μ | [0.35,0.60] | [0.25,0.34] | Same |
> | | [0.70,0.95] | [0.96,1.00] | Same |
> | 恢复系数e | [0.15,0.40] | [0.05,0.14] | Same |
> | | [0.55,0.85] | [0.86,0.95] | Same |
> | **初始状态** | | | |
> | 位置x_i,xy^1 | [-7,7]² | [-10,10]²\[-7,7]² | Same |
> | 速度v_i,xy^1 | [-3,3]² | ([-5,-3]∪[3,5])² | Same |

### 显式物理属性标签
对于每个物体i，ExPhy提供显式物理属性向量pi=[mi,μi,ei]⊤，分别对应质量、摩擦系数和恢复系数。这些标签通过物理模拟引擎生成并记录，确保属性与轨迹的物理一致性。