论文页面 – Your UnEmbedding Matrix is Secretly a Feature Lens for Text Embeddings

来源：https://huggingface.co/papers/2606.07502

摘要

大语言模型生成的文本嵌入通过 EmbedFilter 得到增强，这是一种线性变换，能够降低高频令牌的影响、改进语义表示，同时支持降维。

大语言模型（https://huggingface.co/papers?q=Large%20language%20models）在广泛的下游任务中展现出令人印象深刻的零样本能力。然而，它们难以直接作为开箱即用的嵌入模型使用，在大规模文本嵌入基准上表现欠佳。在本文中，我们确定了导致这一缺陷的一个潜在原因。我们的动机源于一个意外的观察：文本嵌入（https://huggingface.co/papers?q=text%20embeddings）在投影到词汇空间后，倾向于与频繁出现但无信息的令牌对齐。我们认为，这些高频令牌（https://huggingface.co/papers?q=high-frequency%20tokens）的过度表达抑制了模型捕捉细微语义的能力。为解决这一问题，我们引入了 EmbedFilter，这是一种简单的线性变换（https://huggingface.co/papers?q=linear%20transformation），旨在直接优化由 LLM 生成的文本嵌入（https://huggingface.co/papers?q=text%20embeddings）。具体而言，我们发现 LLM 内部的解嵌入矩阵（https://huggingface.co/papers?q=unembedding%20matrix）编码了一个潜在空间，该空间正在主动将这些频繁令牌写入嵌入空间。通过滤除这个子空间，EmbedFilter 抑制了高频令牌（https://huggingface.co/papers?q=high-frequency%20token）的影响，从而增强了语义表示（https://huggingface.co/papers?q=semantic%20representations）。作为一个有吸引力的副产品，这还实现了固有的降维（https://huggingface.co/papers?q=dimensionality%20reduction），降低了索引存储成本并加快了检索速度，同时完全保留了优化后的嵌入质量。我们在多个 LLM 骨干网络上的实验表明，配备 EmbedFilter 的 LLM 即使在嵌入维度显著降低的情况下，也能实现更优的零样本下游性能。我们希望这些发现能为 LLM 表示的机制提供更深入的见解，并启发更原则性的设计来改进文本嵌入（https://huggingface.co/papers?q=text%20embeddings）训练。我们的代码可在 https://github.com/CentreChen/EmbFilter 获取。

查看 arXiv 页面（https://arxiv.org/abs/2606.07502）查看 PDF（https://arxiv.org/pdf/2606.07502）GitHub2（https://github.com/CentreChen/EmbFilter）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.07502）

在你的 agent 中获取本文：

hf papers read 2606.07502

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

没有模型链接本文

请在模型 README.md 中引用 arxiv.org/abs/2606.07502 以从本页链接。

引用本文的数据集0

没有数据集链接本文

请在数据集 README.md 中引用 arxiv.org/abs/2606.07502 以从本页链接。

引用本文的 Space0

没有 Space 链接本文

请在 Space README.md 中引用 arxiv.org/abs/2606.07502 以从本页链接。

包含本文的收藏1