论文页面 - 通过非对称互变分学习实现多模态连续推理

来源：https://huggingface.co/papers/2607.00461

摘要

非对称互变分学习通过双向校准解决多模态推理中的训练-推理不匹配问题，防止答案泄露并提升潜空间稳定性。

多模态大语言模型（Multimodal Large Language Models, 见 https://huggingface.co/papers?q=Multimodal%20Large%20Language%20Models）常受限于语言空间瓶颈（language-space bottleneck, 见 https://huggingface.co/papers?q=language-space%20bottleneck），将复杂的视觉推理强行压缩为离散 token，从而丢失感知细节。一个颇具前景的替代方案是连续潜推理（continuous latent reasoning, 见 https://huggingface.co/papers?q=continuous%20latent%20reasoning），其目标是发现连接多模态查询与最终答案的隐式推理路径。然而，这引入了严重的训练-推理不匹配（train-inference mismatch, 见 https://huggingface.co/papers?q=train-inference%20mismatch）问题：训练时的后验（posterior, 见 https://huggingface.co/papers?q=posterior）依赖于真实答案，可能利用与答案相关的捷径。标准的变分训练（variational training, 见 https://huggingface.co/papers?q=variational%20training）随后迫使推理时的先验（prior, 见 https://huggingface.co/papers?q=prior）去模仿一个能够获取测试时不可用信息的后验（posterior, 见 https://huggingface.co/papers?q=posterior），从而导致性能不佳。为应对这一挑战，我们提出非对称互变分学习（Asymmetric Mutual Variational Learning, AMVL），该框架通过双向校准（bidirectional calibration, 见 https://huggingface.co/papers?q=bidirectional%20calibration）目标解决此不匹配问题。前向 KL 散度（forward KL divergence, 见 https://huggingface.co/papers?q=forward%20KL%20divergence）训练与目标无关的先验（prior, 见 https://huggingface.co/papers?q=prior）去匹配后验（posterior, 见 https://huggingface.co/papers?q=posterior），而新颖的反向 KL 散度（reverse KL divergence, 见 https://huggingface.co/papers?q=reverse%20KL%20divergence）同时正则化后验（posterior, 见 https://huggingface.co/papers?q=posterior），防止其坍缩到与推理不兼容的区域，从而缓解这种“答案泄露（answer leakage, 见 https://huggingface.co/papers?q=answer%20leakage）”。我们提供了理论分析，将这种泄露形式化为先验（prior, 见 https://huggingface.co/papers?q=prior）污染，并证明我们的双 KL 目标能够减少这种污染。我们将 AMVL 实例化到潜集成式 MLLM（latent-integrated MLLM, 见 https://huggingface.co/papers?q=latent-integrated%20MLLM）中，并展示其持续优于强大的离散和潜推理基线，在复杂的 BLINK 基准测试（BLINK benchmark, 见 https://huggingface.co/papers?q=BLINK%20benchmark）上平均得分提升 +10.83，在个别推理任务上提升高达 +32.00，分析结果证实了潜空间稳定性的改善。

查看 arXiv 页面（https://arxiv.org/abs/2607.00461）查看 PDF（https://arxiv.org/pdf/2607.00461）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.00461）

在您的 agent 中获取此论文：

hf papers read 2607\.00461

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2607.00461 即可在此页面链接。

引用本论文的数据集0

无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.00461 即可在此页面链接。

引用本论文的 Spaces0

无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2607.00461 即可在此页面链接。

包含本论文的收藏集0

无收藏集包含此论文

添加此论文到一个收藏集（https://huggingface.co/new-collection）即可在此页面链接。