论文页面 - Lluna：用于缺失模态推理的协作式单模态模型

来源：https://huggingface.co/papers/2610.20526

摘要

Lluna 通过结合私有单模态预测、基于图的残差协作以及渐进式一致性训练，在输入缺失时提升多模态预测效果。

预训练单模态模型 (https://huggingface.co/papers?q=unimodal%20models) 通过协作提供了一条通往多模态预测 (https://huggingface.co/papers?q=multimodal%20prediction) 的灵活路径，但当模态缺失时，这种协作可能变得不如单个存活模型准确。我们使用固定的存活模型锚点研究了这一设定，发现即使锚点自身的输入未发生变化，协作增益也可能随着输入的消失而减弱甚至反转。我们的诊断进一步揭示了聚合后模态特定信息的恢复能力下降，以及协作式表示 (https://huggingface.co/papers?q=collaborative%20representations) 存在的状态依赖性。我们提出了 Lluna (https://huggingface.co/papers?q=Lluna)，它将来自适配后单模态特征的直接私有预测路径，与一个共同的基于图的协作 (https://huggingface.co/papers?q=graph-based%20collaboration) 分支相结合，该分支提供残差修正。渐进式协作一致性 (https://huggingface.co/papers?q=Progressive%20Collaboration%20Consistency) 沿单模态移除路径组织从丰富到贫乏的引导，在任务监督使预测适应可用证据的同时，对齐归一化的公共表示。在涵盖情感计算、场景理解和医疗预测的八个数据集上，Lluna (https://huggingface.co/papers?q=Lluna) 在非完整输入状态下的评估平均性能最佳，相对于最强评估基线，平均将 Mean-Missing 提升了 4.26%。固定锚点诊断也显示，在所有八个任务中，最小输入条件下的平均协作均取得了正增益。代码已发布于 https://github.com/AIFrontierLab/Lluna (https://huggingface.co/papers?q=Lluna)。

查看 arXiv 页面 (https://arxiv.org/abs/2610.20526)　查看 PDF (https://arxiv.org/pdf/2610.20526)　GitHub1 (https://github.com/AIFrontierLab/Lluna)　加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.20526)

在你的 agent 中获取此论文：

hf papers read 2610.20526

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.20526 以从此页面关联该模型。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.20526 以从此页面关联该数据集。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.20526 以从此页面关联该 Space。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以从此页面进行关联。