论文页面 - SpecMRL：在参数谱空间内重新设计 Matryoshka 表示学习

来源：https://huggingface.co/papers/2610.26824

摘要

SpecMRL 通过学习到的谱基重组特征，优先保留信息量更大的方向，从而提升压缩嵌入的质量，在低维设置下性能优于标准 MRL。

Matryoshka Representation Learning（https://huggingface.co/papers?q=Matryoshka%20Representation%20Learning）（MRL）通过联合优化嵌套前缀（https://huggingface.co/papers?q=nested%20prefixes）来支持灵活的表示尺寸。虽然有效，但该设计缺乏显式约束来保证前部特征构成合适的紧凑编码。为此，我们提出 SpecMRL，它通过重组特征空间来实现更有效的前缀读出（https://huggingface.co/papers?q=prefix%20readout）。具体而言，我们在 MRL 的基础上引入了一个由参数推导的谱基（https://huggingface.co/papers?q=spectral%20basis），并按特征重要性（https://huggingface.co/papers?q=feature%20importance）进行组织。SpecMRL 的其余部分沿用标准 MRL，前缀读出（https://huggingface.co/papers?q=prefix%20readout）在学习到的谱空间中进行。在 MTEB（https://huggingface.co/papers?q=MTEB）上的实验表明，SpecMRL 在所有评估的降维维度上均优于 MRL，且在更激进的压缩下优势更明显。这些结果表明，学习到的谱基（https://huggingface.co/papers?q=spectral%20basis）能更好地优先保留信息量丰富的方向，从而实现更有效的表示压缩（https://huggingface.co/papers?q=representation%20compression）。值得注意的是，SpecMRL 扩展了 MRL 的性能前沿，仅用一半的嵌入维度便超越了全维度 MRL。

查看 arXiv 页面（https://arxiv.org/abs/2610.26824）查看 PDF（https://arxiv.org/pdf/2610.26824）GitHub1（https://github.com/CentreChen/Spec-MRL）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.26824）

在你的 agent 中获取这篇论文：

hf papers read 2610.26824

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.26824 以从此页面链接它。

引用此论文的数据集0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.26824 以从此页面链接它。

引用此论文的 Spaces0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.26824 以从此页面链接它。

包含此论文的合集0

暂无合集包含此论文

将此论文添加到合集（https://huggingface.co/new-collection）以从此页面链接它。