基于学习的多对象刚体动力学模拟仍然具有挑战性，因为接触过程是不连续的，且误差会在长时间范围内累积。现有的大多数方法仍然依赖于网格连通性和顶点级消息传递，这限制了它们在点云等无网格输入上的适用性，并导致高昂的计算成本。因此，高效地从无网格表示中对高保真刚体动力学进行建模仍然是一项挑战。我们提出了 RigidFormer，这是一种以对象为中心的基于 Transformer 的模型，能够学习具有可控积分步长的无网格刚体动力学。RigidFormer 在对象级别进行推理，并通过紧凑的锚点推进每个对象；锚点-顶点池化（Anchor-Vertex Pooling）利用局部顶点特征丰富这些锚点，在保留与接触相关的几何信息的同时，避免了密集的顶点级交互。我们提出了基于锚点的旋转位置编码（Anchor-based RoPE），在注意力的计算中注入锚点几何信息，同时尊重对象和锚点的无序特性：对象令牌的处理是置换等变的，而平均池化的锚点描述符在保持形状范围的同时对锚点重新索引具有不变性。此外，RigidFormer 通过可微 Kabsch 对齐将更新投影到刚体流形上，从而强制执行刚体约束。在标准基准测试中，RigidFormer 在使用点输入时优于或持平于基于网格的基线模型，运行速度更快，能够泛化到未见过的点云分辨率和不同数据集，并可扩展至 200 多个对象；我们还展示了将其初步扩展至命令条件化铰链刚体，通过将身体部位视为相互作用的对象级组件来实现。