论文页面 - SoftVTBench：面向可变形物体操作的形变感知视觉-触觉数据集与基准测试

来源：https://huggingface.co/papers/2608.18701 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

SoftVTBench 推出了一个同步化的视觉-触觉数据集与形变感知基准测试，旨在评估可变形物体操作过程中的物理交互质量。

物理交互质量是可变形物体操作（https://huggingface.co/papers?q=deformable-object%20manipulation）的核心，然而大多数基准测试仅评估任务成功与否。一个策略可能完成任务，但同时允许打滑或造成过度挤压。一个主要瓶颈在于缺乏视觉-触觉数据集（https://huggingface.co/papers?q=visuo-tactile%20dataset），这类数据集应将策略可见的接触观测与完整任务中的独立物理真值配对。我们推出了 SoftVTBench，一个用于物理交互感知可变形物体操作（https://huggingface.co/papers?q=deformable-object%20manipulation）的视觉-触觉数据集（https://huggingface.co/papers?q=visuo-tactile%20dataset）。它包含 4,000 个专家示范和超过 50 个资产，包括体积型可变形物体和视觉匹配的刚性孪生体。在 20 Hz 频率下，每个片段同步了多视角 RGB、双指触觉 RGB 与标记点运动、本体感觉、语言以及二元和连续的夹持器动作，同时还包含仅用于评估的有限元（FEM）状态。基于此数据集，我们建立了一个闭环基准测试，该测试使用固定的物体特定标定来定义形变感知成功率（Deformation-aware Success Rate (DSR)），仅当一次执行完成任务并将峰值归一化形变保持在容差范围内时，才计为成功。在 Diffusion Policy（https://huggingface.co/papers?q=Diffusion%20Policy）、π₀.₅ 和 FastWAM 这三种策略上测试，所有 12 个分布内配置均包含违反形变容差的成功执行，占每个配置成功总数的 0.7%–24%。在分布偏移情况下，视觉-触觉变体在所有六个策略套件比较中均实现了更高的任务成功率，并在五个比较中获得了更高的 DSR，而其分布内优势则表现不一。这些结果表明，仅仅提供触觉信息并不能确保有效的多模态融合（https://huggingface.co/papers?q=multimodal%20fusion）。因此，SoftVTBench 提供了一个通用的视觉-触觉资源，用于研究的不仅是策略是否成功，还包括它如何与可变形物体进行物理交互，以及触觉在何时能改善这种交互。

查看 arXiv 页面 (https://arxiv.org/abs/2608.18701) 查看 PDF (https://arxiv.org/pdf/2608.18701) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.18701)

在您的智能体中获取本文：

hf papers read 2608.18701

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型链接本文

在模型 README.md 中引用 arxiv.org/abs/2608.18701 以从本页链接它。

引用本文的数据集 0

没有数据集链接本文

在数据集 README.md 中引用 arxiv.org/abs/2608.18701 以从本页链接它。

引用本文的 Spaces 0

没有 Space 链接本文

在 Space README.md 中引用 arxiv.org/abs/2608.18701 以从本页链接它。

包含本文的收藏 0

没有收藏包含本文

将本文添加到收藏（https://huggingface.co/new-collection）以从本页链接它。