@probnstat: 每位机器学习工程师都应了解的一个定理：Johnson-Lindenstrauss 引理。它指出，高维数据可以……

X AI KOLs Following 新闻
machine-learning dimensionality-reduction johnson-lindenstrauss-lemma embeddings theoretical-ml

摘要

本文重点介绍了 Johnson-Lindenstrauss 引理，解释了其在帮助机器学习工程师理解降维、随机投影和嵌入效率方面的重要性。

每位机器学习工程师都应了解的一个定理：Johnson-Lindenstrauss 引理。该定理指出，高维数据可以被投影到一个低得多的维度空间中，同时近似保持点与点之间的距离。 为何它很重要： • 解释了随机投影为何有效 • 使高维空间中的可扩展学习成为可能 • 应用于嵌入（embeddings）、压缩学习和近似最近邻（ANN）搜索 • 有助于对抗维度灾难 令人惊讶的是：你可以大幅降低维度而不破坏数据的几何结构。这就是为什么许多机器学习系统即使面对巨大的特征空间也能高效运行的原因。 现代表征学习（representation learning）与这一思想密切相关：优质的嵌入在压缩信息的同时保留结构。在机器学习中，压缩往往并不意味着智能的损失，而是冗余的去除。
查看原文

相似文章

@Propriocetive: 新预印本：《Mathematics is All You Need 2》—— Transformer 残差流中的符号稳定行为纤维。头条结果……

X AI KOLs Following

新预印本《Mathematics is All You Need 2》提出了“双通道定理”，证明 Transformer 残差流中的行为纤维在不同架构（从 Qwen 到 Llama）间具有符号稳定性且可因果操控。该研究声称具有高可复现性，并显示行为基底接近一维，从而将生成过程与潜在结构分离开来。

重新审视LLM推理中的均匀信息密度假设

arXiv cs.CL

本文重新审视了LLM推理背景下的均匀信息密度（UID）假设，引入了一个基于熵的框架来量化信息流的均匀性。在七个推理基准上的实验发现，高质量的推理在步骤过渡上表现出局部均匀性，但在轨迹结构上呈现全局非均匀性，这表明LLM推理与人类交流模式存在根本性差异。