论文页面 - DiffRetriever：扩散语言模型检索中的并行代表性 Token

来源：https://huggingface.co/papers/2605.07210

摘要

DiffRetriever 通过并行而非串行地生成表示，利用扩散语言模型实现了高效的多 Token 检索，其性能优于自回归方法。

PromptReps 表明，自回归语言模型（https://huggingface.co/papers?q=autoregressive%20language%20model）可以通过提示直接用作检索器，以生成查询或片段的密集和稀疏表示。对于自回归模型，将其扩展到多个代表性 Token 效率低下，因为 Token 必须逐个生成，而且先前的多 Token（https://huggingface.co/papers?q=multi-token）变体并未可靠地超越单 Token 解码（https://huggingface.co/papers?q=single-token%20decoding）。我们证明了瓶颈在于串行生成，而非多 Token（https://huggingface.co/papers?q=multi-token）理念本身。DiffRetriever 是一种面向扩散语言模型（https://huggingface.co/papers?q=diffusion%20language%20models）的代表性 Token 检索器（https://huggingface.co/papers?q=representative-token%20retriever）：它在提示后附加 K 个掩码位置（https://huggingface.co/papers?q=masked%20positions），并在单次双向前向传播（https://huggingface.co/papers?q=bidirectional%20forward%20pass）中读取所有 K 个 Token。在域内和域外评估中，多 Token（https://huggingface.co/papers?q=multi-token）DiffRetriever 在我们测试的每个扩散骨干网络上均显著优于单 Token 方法，而自回归多 Token（https://huggingface.co/papers?q=multi-token）表现持平甚至负面，且其延迟成本随 K 增加，而扩散模型则没有此问题。经过监督微调（https://huggingface.co/papers?q=supervised%20fine-tuning）后，基于 Dream 的 DiffRetriever（https://huggingface.co/papers?q=Dream）是我们比较中最强的 BEIR-7（https://huggingface.co/papers?q=BEIR-7）检索器，优于 PromptReps、相同扩散骨干上的编码器风格 DiffEmbed 基线，以及对比微调的单向量 RepLLaMA（https://huggingface.co/papers?q=RepLLaMA）。在冻结基础模型上的每查询预言机在相同固定预算下超过了对比微调（https://huggingface.co/papers?q=contrastive%20fine-tuning），这指向了将自适应预算选择作为未来工作。代码可在 https://github.com/ielab/diffretriever 获取。

查看 arXiv 页面（https://arxiv.org/abs/2605.07210）查看 PDF（https://arxiv.org/pdf/2605.07210）GitHub2（https://github.com/ielab/diffretriever）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.07210）

在你的 agent 中获取此论文：

hf papers read 2605\.07210

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.07210 即可从此页面链接它。

引用此论文的数据集 0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.07210 即可从此页面链接它。

引用此论文的 Spaces 0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.07210 即可从此页面链接它。

包含此论文的集合 0

无集合并包含此论文

添加此论文到集合（https://huggingface.co/new-collection）即可从此页面链接它。