论文页面 - COSMI：多物体交互的组合式合成

来源：https://huggingface.co/papers/2610.03252

🧩 COSMI — 多物体人—物交互由两部分组成：一个由单物体采集数据组合而成的数据集，以及一个基于该数据集训练的文本到交互模型。

📦 数据：交互是局部性的（一只手握住杯子，一把椅子支撑骨盆），因此肢体及其对应物体可以在不同身体之间迁移。LLM 与几何检查相结合，仅保留合理的配对；镜像增强则平衡了左右手的比例（49/51）。该数据集包含 22.2 万条序列 / 275 小时，最多支持 5 个物体，规模约为最大的采集型多物体数据集的 30 倍。

🧠 模型：一个 3000 万参数的 diffusion transformer 能够根据文本生成包含 1 到 5 个物体的交互。各物体槽位共享权重，且每个物体的预测均相对于移动它的身体部位进行。

📊 基准测试：保留一个未见过的物体以及 5 组未见过的交互组合（例如拿着苹果走路）。所有在该数据集上训练的模型都能泛化到这些未见组合。COSMI 在文本对齐和接触精度方面表现最佳，尤其是在未见物体上优势最为明显。

📈 该数据集可通过添加新数据集不断扩充，包括手—物交互采集数据（以 HOT3D 为例展示）。代码、模型和数据集处理流程将开源发布。

🔗 论文（https://arxiv.org/abs/2610.03252）· 项目主页（https://ptrvilya.github.io/cosmi/）· GitHub（https://github.com/ptrvilya/cosmi）· Hugging Face（https://huggingface.co/papers/2610.03252）