dimensionality-reduction

标签

Cards List
#dimensionality-reduction

通过信息多视图投影可视化高维图嵌入

arXiv cs.LG · 3小时前 缓存

提出了一种将图嵌入高维空间并搜索信息性二维视角的方法,这些视角优化了美学和可读性指标(例如边交叉和角分辨率),这得益于一种新颖的边交叉可微替代方法。引入了一个交互式系统DataFly,用于探索多个候选视角。

0 人收藏 0 人点赞
#dimensionality-reduction

面向上下文赌博机的图降维:近似平滑与噪声特征空间下的结构特定遗憾界

arXiv cs.LG · 2天前 缓存

提出了GraphDR-LinUCB方法,一种面向具有图结构臂的上下文赌博机方法,该方法将特征投影到图的低频频谱子空间上。实现了首个基于频谱投影的上下文赌博机的遗憾界,并在真实数据集上相比全维度LinUCB实现了15倍的遗憾值降低。

0 人收藏 0 人点赞
#dimensionality-reduction

面向非平滑随机复杂度与流形采样的精确Schur-Sylvester降维

arXiv cs.LG · 2026-06-24 缓存

本文提出了利用Schur补和Sylvester行列式恒等式的精确降维方法,将非平滑NML估计中每步的计算复杂度从O(N^3)降低到O(k^3+N^2k),在保持数值精度的同时实现了超过14,000倍的加速。

0 人收藏 0 人点赞
#dimensionality-reduction

局部与全局注意力的双维度

arXiv cs.CL · 2026-06-18 缓存

提出距离自适应表示(DAR),该方法对远距离token降低键值维度,同时保留附近token的全维度,在不损失性能的前提下提升KV缓存效率。

0 人收藏 0 人点赞
#dimensionality-reduction

@vintcessun: 原来LLM文本embedding被高频token(句号、冠词)绑架了!Unembedding矩阵隐式定义了一个低秩子空间,主导这些无信息量的表达。这是LLM作为通用embedding效果不佳的根本原因,且污染很隐蔽。EmbedFilter…

X AI KOLs Timeline · 2026-06-12 缓存

该研究揭示了LLM文本嵌入被高频token(如句号、冠词)绑架的问题,提出EmbedFilter方法通过对unembedding矩阵进行SVD分解并减去投影分量来释放真实语义,实现零训练开销的降维和检索效率提升。

0 人收藏 0 人点赞
#dimensionality-reduction

你的逆嵌入矩阵实际上是文本嵌入的特征透镜

Hugging Face Daily Papers · 2026-06-05 缓存

本文指出,LLM文本嵌入过度表达了高频无信息词元,并提出EmbedFilter,一种线性变换,通过滤除该子空间来改善语义表示并实现降维。

0 人收藏 0 人点赞
#dimensionality-reduction

@kyndinfo: 主成分分析(PCA)[数学短文] https://notion.so/kyndinfo/Principal-Component-Analysis-351019…

X AI KOLs Timeline · 2026-06-04

一篇关于主成分分析(PCA)的简短数学文章,解释了概念及其应用。

0 人收藏 0 人点赞
#dimensionality-reduction

ScaleMAP:在低维嵌入中保持局部密度和邻域结构

arXiv cs.LG · 2026-06-01 缓存

ScaleMAP是一种新的非线性降维方法,通过基于原始空间局部半径重新缩放嵌入距离来保持局部密度和邻域结构,在保持UMAP级别邻域保留的同时,实现了比DensMAP更好的密度保留。

0 人收藏 0 人点赞
#dimensionality-reduction

DIVE:通过自限制梯度更新的嵌入压缩

arXiv cs.CL · 2026-05-21 缓存

提出DIVE,一种用于嵌入维度缩减的压缩适配器,采用自限制梯度更新和头部级NT-Xent对比损失,防止在小数据集上过拟合,在BEIR基准测试上优于现有方法。

0 人收藏 0 人点赞
#dimensionality-reduction

植物表型组学中小数据量子学习的监督潜在重构

arXiv cs.LG · 2026-05-21 缓存

本文提出了一种面向小数据场景下植物表型组学分类的混合量子-经典工作流,通过监督潜在重构(PCA+LDA)在量子核对齐前提升几何可分性。实验显示可分性有所提升,但揭示了压缩权衡以及实现强量子性能的困难。

0 人收藏 0 人点赞
#dimensionality-reduction

基于混合潜空间建模的结构连接组获取变异无监督学习

arXiv cs.LG · 2026-05-15 缓存

本文提出了一种无监督框架,通过混合潜空间建模来模拟结构连接组中与获取相关的变异,利用架构退火编码器输出消除了手动容量调优的需求。

0 人收藏 0 人点赞
#dimensionality-reduction

秩不等于容量:潜在图模型的光谱占用分析

arXiv cs.LG · 2026-05-13 缓存

本文提出了一种名为 Spectra 的方法,利用光谱占用率来分析和控制潜在图模型的实际容量,并论证了模型的秩并不等同于其容量。

0 人收藏 0 人点赞
#dimensionality-reduction

@probnstat: 每位机器学习工程师都应了解的一个定理:Johnson-Lindenstrauss 引理。它指出,高维数据可以……

X AI KOLs Following · 2026-05-09

本文重点介绍了 Johnson-Lindenstrauss 引理,解释了其在帮助机器学习工程师理解降维、随机投影和嵌入效率方面的重要性。

0 人收藏 0 人点赞
#dimensionality-reduction

多项式自编码器在 Transformer 嵌入压缩上优于 PCA

Hacker News Top · 2026-05-05 缓存

本文介绍了一种多项式自编码器,通过利用二次解码器捕捉非线性方差,在压缩 Transformer 嵌入方面改进了传统的 PCA 方法。在 BEIR 基准测试中的结果表明,该方法在保持高压缩率的同时,其检索质量显著优于标准 PCA 和 Matryoshka 嵌入。

0 人收藏 0 人点赞
#dimensionality-reduction

密集段落检索中嵌入压缩的谱调整方法

arXiv cs.CL · 2026-04-20 缓存

谱调整(SpecTemp)提出了一种无需学习的密集段落检索嵌入压缩方法,该方法基于信噪比分析自适应地确定最优的谱缩放系数,性能优于PCA和白化等固定超参数方法。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈