需要在大规模、杂乱的表格数据上估计秩或执行降维吗？Entropy Scree 是 PCA 的一种基于信息论的升级方法。
摘要
Entropy Scree 是 PCA 的信息论升级版，用于在杂乱的表格数据上进行稳健的秩估计和降维，代码已开源，预印本已发布。
这是我正在研究的一个新的秩估计方法。它基本上是一种基于信息论而非线性方差的升级版主成分分析（PCA）。它对混合数据类型、高度非线性的生成过程、低信噪比和稀疏性（变量多于样本）具有鲁棒性。当你需要精确确定数据集的秩以显式设置神经瓶颈（如自编码器）时，它尤其有用。我刚刚开源了代码并发布了预印本。我很想听听你们的看法，或者如果你们在自己的数据上测试了它的话！GitHub（R代码）：https://github.com/tjleestjohn/Entropic-Scree 预印本：https://doi.org/10.5281/zenodo.22028087
相似文章
在复杂表格数据中映射内在秩与信息引力：我开发了一种非参数、模型无关、基于信息论的诊断工具，以绕过线性、秩和欧几里得基线的限制。[R]
Entropic Scree 是一种非参数、基于信息论的诊断框架，用于在复杂表格数据中映射内在秩与信息引力，解决了标准 PCA 和其他基线的局限性。
如何评估你的脏数据中是否有强信号 [项目]
Entropic Scree 是一个新的诊断工具，用于评估脏表格数据中的信号强度和结构，使用互信息，附带预印本和即将推出的 Python 和 R 包。
打破结构孤立：通过社区感知采样和结构熵的可扩展图聚类
本文提出SCISE，一个可扩展的无监督图聚类框架，通过社区感知采样和结构熵克服小批量训练中的结构孤立问题，在基准数据集上取得了最先进的结果。
蛋白质接触图上的离散里奇曲率用于轻量级折叠分类
本文研究了蛋白质接触图上的离散里奇曲率作为轻量级结构描述符用于折叠分类，结果表明一个22维的曲率特征在CATH和SCOPe基准测试上优于平均池化的ESM-2嵌入。
数据偏心性、高斯RBF再生核希尔伯特空间的渐近性及核PCA
本文证明，在大带宽条件下，高斯RBF再生核希尔伯特空间渐近等距于欧几里得空间，导致核PCA收敛到线性PCA。一种数据偏心性度量能够预测前几个主方向上的收敛行为。