dimensionality-reduction

本文重点介绍了 Johnson-Lindenstrauss 引理，解释了其在帮助机器学习工程师理解降维、随机投影和嵌入效率方面的重要性。

本文介绍了一种多项式自编码器，通过利用二次解码器捕捉非线性方差，在压缩 Transformer 嵌入方面改进了传统的 PCA 方法。在 BEIR 基准测试中的结果表明，该方法在保持高压缩率的同时，其检索质量显著优于标准 PCA 和 Matryoshka 嵌入。

谱调整（SpecTemp）提出了一种无需学习的密集段落检索嵌入压缩方法，该方法基于信噪比分析自适应地确定最优的谱缩放系数，性能优于PCA和白化等固定超参数方法。