论文页面 - 唤醒触觉！MLLM中的掩码隔离触觉对齐学习

来源：https://huggingface.co/papers/2607.00302 发布于 7月1日

·

提交者 https://huggingface.co/xxinzzi

김민지 (https://huggingface.co/xxinzzi) 于 7月9日

摘要

Splash 是一种掩码隔离的触觉对齐学习框架，通过选择性参数更新来防止灾难性遗忘，使多模态大语言模型能够在不牺牲视觉-语言推理能力的前提下获得触觉感知能力。

触觉为感知内在材料属性（如摩擦力和柔顺性）提供了物理依据，而单靠视觉往往无法解决这些问题。然而，近期为多模态大语言模型 (https://huggingface.co/papers?q=multimodal%20LLMs) 赋予触觉感知能力 (https://huggingface.co/papers?q=tactile%20sense) 的努力暴露了一个零和权衡：紧凑模型的有限参数预算迫使我们在获取新感官模态与保留已有视觉-语言推理能力之间做出选择。我们提出了 Splash，一种用于 MLLM 的掩码隔离触觉对齐学习 (https://huggingface.co/papers?q=mask-isolated%20tactile%20alignment%20learning) 框架。Splash 量化了每个预训练参数的重要性，并将参数空间划分为休眠子空间 (https://huggingface.co/papers?q=dormant%20subspace) 和关键子空间 (https://huggingface.co/papers?q=critical%20subspace)。冻结的关键子空间 (https://huggingface.co/papers?q=critical%20subspace) 作为稳定锚点以保护通用视觉知识，同时 Splash 更新隔离的休眠子空间 (https://huggingface.co/papers?q=dormant%20subspace)，将触觉对齐内化到大语言模型中。这种选择性、非破坏性的扩展有效地防止了灾难性遗忘 (https://huggingface.co/papers?q=catastrophic%20forgetting)，并确保了非破坏性的模态扩展。大量实验表明，Splash 在不增加大语言模型部分推理开销的情况下有效实现了触觉推理，在包括 SSVTP (https://huggingface.co/papers?q=SSVTP)、TVL (https://huggingface.co/papers?q=TVL) 和 TacQuad (https://huggingface.co/papers?q=TacQuad) 在内的视觉-触觉基准测试 (https://huggingface.co/papers?q=visuo-tactile%20benchmarks) 上展现了最先进的性能，同时保留了其原有的通用能力。

查看 arXiv 页面 (https://arxiv.org/abs/2607.00302) 查看 PDF (https://arxiv.org/pdf/2607.00302) 项目页面 (https://ewha-mmai.github.io/splash/) GitHub 0 (https://github.com/ewha-mmai/splash) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.00302)

在你的智能体中获取该论文：

hf papers read 2607\.00302

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.00302 以从本页链接。

引用此论文的数据集 0

没有数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.00302 以从本页链接。

引用此论文的 Spaces 0

没有 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.00302 以从本页链接。

包含此论文的收藏集 0

没有收藏集包含此论文

添加此论文到收藏集 (https://huggingface.co/new-collection) 以从本页链接。