论文页面 - Omni-Modal LLMs Know More Than They Say

来源：https://huggingface.co/papers/2610.16135

摘要

全模态大语言模型（Omni-LLMs）将 LLM 扩展为可在语言之外处理异构模态（如视觉、音频和 IMU 信号），从而支持更广泛的多模态任务。然而，我们发现这些模型往往无法表达来自非文本模态的信息，即使它们已经正确感知到了这些信息。我们将这种现象称为“知道但说不出“（knows-but-cannot-say）。为研究这一现象，我们提出了 Token 级模态对齐（Token-level Modality Alignment, TMA），用于衡量各个模态表示与响应表示之间的对齐程度。我们的分析表明，非文本表示与响应 token 的对齐程度较低，获得的注意力也少于文本表示，这为模态偏好不均衡的现象提供了一个潜在的解释。受这些发现的启发，我们提出了 OmniCatalyst——一种简单的“感知→推理“（perceiver→infer）策略，通过用模型自生成的文本补充原始模态输入，使非文本知识更易于提取。在七个 Omni-LLM 上，OmniCatalyst 持续提升了性能（+7.29%），并带来了更均衡的模态偏好，采用多样化的训练策略还能进一步提升效果。进一步的分析表明，知识提取阶段提升了 TMA，说明更好的对齐使非文本信息在响应生成过程中更易于获取。总之，我们的发现揭示了 Omni-LLM 如何能通过语言更好地表达模态知识。代码已开源：https://github.com/naver-ai/OmniLLM。

查看 arXiv 页面（https://arxiv.org/abs/2610.16135）　查看 PDF（https://arxiv.org/pdf/2610.16135）　添加到收藏夹（https://huggingface.co/login?next=%2Fpapers%2F2610.16135）

引用此论文的模型 0

暂无模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.16135 即可将此页面关联起来。

引用此论文的数据集 0

暂无数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.16135 即可将此页面关联起来。

引用此论文的 Spaces 0

暂无 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.16135 即可将此页面关联起来。

包含此论文的收藏夹 0

暂无收藏夹包含此论文。

将此论文添加到收藏夹（https://huggingface.co/new-collection）即可将此页面关联起来。