论文页面 - 学习具有证据对齐读出的多模态嵌入

来源: https://huggingface.co/papers/2609.33659 发布于 9月27日

·

由 https://huggingface.co/zrchen03 提交

zrchen (https://huggingface.co/zrchen03)，发布于 10月8日

摘要

多模态大语言模型可以通过生成过程暴露与任务相关的证据，但产生有用的证据本身并不能决定这些证据如何进入检索嵌入。我们研究证据的语义组织是否也能指定表示应从何处被读出。为了解决这一问题，我们提出了 EviAlign，它在一个共享的多模态大语言模型中将语义证据生成与边界读出耦合起来。该方法将证据组织为五个语义单元，读取每个单元边界的上下文化状态，并将这些状态聚合为一个单独的归一化嵌入。生成目标与对比检索目标共同训练这一共享结构。在采用相同的尾部读出时，语义证据与自由形式的 CoT 产生了几乎相同的检索性能，表明仅凭证据组织本身并不能解释全部增益。一项受控的 2×3 研究在三种读出策略下比较了一致的证据组织与打乱的证据组织，所用训练目标具有匹配的证据跨度。在使用五个读出状态和相同的均值池化时，一致语义组织的优势从基于长度的训练位置上的 0.65 个点增长到证据边界处的 2.39 个点，产生了 1.74 个点的协同设计交互效应。在 12 个 MMEB 检索任务上，EviAlign 使用 50 万训练对达到了 76.9 的平均 Recall@1，同时保持了单向量索引与打分的方式。

查看 arXiv 页面 查看 PDF 添加到收藏夹

在你的 agent 中获取此论文：

hf papers read 2609.33659

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型：0

没有模型关联此论文。

在模型的 README.md 中引用 arxiv.org/abs/2609.33659，即可从此页面链接它。

引用此论文的数据集：0

没有数据集关联此论文。

在数据集的 README.md 中引用 arxiv.org/abs/2609.33659，即可从此页面链接它。

引用此论文的 Spaces：0

没有 Space 关联此论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2609.33659，即可从此页面链接它。

收录此论文的合集：0

没有合集收录此论文。

将此论文添加到合集，即可从此页面链接它。