如何评估你的脏数据中是否有强信号 [项目]

我分享这个新的表格数据诊断工具（Entropic Scree）。它可以用来估计你的高维、真实世界、脏数据集的这些属性： - 信号的信息量（即帮助你评估信号是否足够强，以抵御数据集的特有量）。 - 整体信号与特有量之比（信噪比，SNR）。 - 内在秩。 - 提供一个探索性地图，允许识别变量的去耦合子网络。 - 线性充分性（即数据集是否与标准PCA的线性假设一致？）。 与传统的PCA变体评估线性方差、秩顺序或欧几里得距离不同，这种新方法评估一个转换后的互信息度量。相对于这些基线，它较少依赖强参数或距离假设，使其适合更广泛地应用。它还作为From Garbage to Gold框架中探索的理论的实际诊断，该框架描述了何时以及为什么未整理的、易出错的数据可以直接用于创建准确的预测模型。 有一个预印本提供了完整的技术细节，Python和R包即将发布。不过目前，原始函数已经在R中可用（参见下面的快速启动R函数代码）。 Entropic Scree 预印本: https://doi.org/10.5281/zenodo.22028087 Entropic Scree GitHub: https://github.com/tjleestjohn/entropic-scree From Garbage to Gold 预印本: https://arxiv.org/abs/2603.12288 如果你尝试了，请让我知道结果……或者如果你有任何问题或评论，当然。 ############ # 快速启动R函数代码。 # 要加载函数，将以下内容复制并粘贴到你的R控制台中，然后按回车。 ############ # 1. 定义GitHub上原始函数脚本的直接URL url <- "https://raw.githubusercontent.com/tjleestjohn/entropic-scree/main/Entropic.Scree.v1.0.0%20-%20ENLI.R" # 2. 定义你想在计算机上命名的文件名 file_name <- "Entropic.Scree.v1.0.0 - ENLI.R" # 3. 将脚本下载到你当前的工作目录 download.file(url, destfile = file_name) # 4. 将核心函数源入你的R环境 source(file_name) # 5. 示例：运行函数并提取双极模块： # results <- Entropic.Scree(dt # , extract_bipolar_modules = TRUE) # # 查看提取的主要轴的结构子网络： # results$bipolar_modules