稀疏性的代价:使用稀疏和稀疏化测量的稀疏恢复的充分条件
摘要
本文确定了在高信噪比环境下稀疏二进制信号的最大似然支持恢复的足够样本大小,揭示了信息论阈值以及测量稀疏性与计算成本之间的权衡。
查看缓存全文
缓存时间: 2026/09/10 18:12
论文页面 - 稀疏的代价:稀疏与稀疏化测量下稀疏恢复的充分条件
来源:https://huggingface.co/papers/2509.01809
摘要
针对稀疏二进制信号,在高信噪比区域下,本文确定了最大似然支撑集恢复的充分样本量,揭示了信息论阈值以及测量稀疏性与计算成本之间的权衡,分析亦涵盖了稀疏化的稠密设计。
我们考虑从含噪线性测量中恢复稀疏二进制信号的支撑集问题。对于稀疏高斯测量矩阵,我们确定了在高信噪比区域(其中 p 表示信号维度,s 表示信号中非零分量的数量,d 表示测量矩阵每行的期望非零分量数)进行最大似然恢复的最小样本量的充分条件。结合已知的下界,这得出了阶为 (s \log(p/s) / \log(ds/p)) 的信息论阈值,明确了测量稀疏性的代价。特别地,我们强调了这样一个区域:由测量稀疏性引起的样本复杂度损失是对数级的,而计算增益几乎是线性的。其次,我们研究了对原本稠密的高斯设计进行稀疏化后的恢复问题:观测由稠密设计生成,而估计使用独立稀疏化的设计和重新缩放的响应。在比例区域 (s=\alpha p),(d=\psi p) 中,我们证明,对于每个固定的目标误差水平 (\delta) 和每个松弛量 (\varepsilon>0),样本量阶为 (p/\psi^2) 即足以在任意小的 (\psi) 下实现支撑集恢复。
查看arXiv页面 (https://arxiv.org/abs/2509.01809) 查看PDF (https://arxiv.org/pdf/2509.01809) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2509.01809)
在您的代理中获取此论文:
hf papers read 2509\.01809
没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有模型链接到此论文
在模型的README.md中引用 arxiv.org/abs/2509.01809 以从此页面链接它。
引用此论文的数据集 0
没有数据集链接到此论文
在数据集的README.md中引用 arxiv.org/abs/2509.01809 以从此页面链接它。
引用此论文的空间 0
没有空间链接到此论文
在空间的README.md中引用 arxiv.org/abs/2509.01809 以从此页面链接它。
包含此论文的收藏 0
没有收藏包含此论文
将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接它。
相似文章
推理时上下文稀疏性:幻象还是机遇?
本文认为,极端的上下文稀疏性是LLM推理的一个有原则且可行的基础,展示了当前模型能够容忍高达100倍的稀疏性而无质量损失,并且稀疏解码内核可以在现有硬件上将处理速度提升10倍。
激活离群值重要性:量化多模态LLMs的鲁棒恢复
本文将激活量化识别为超低比特量化多模态LLMs中的主要瓶颈,并提出残差回退量化(RFQ)以最小开销恢复性能。
捕捉移动子空间:超越平稳性的低秩老虎机
本文研究了分段平稳的低秩线性上下文老虎机,提出了SPSC算法,该算法实现了与内在秩(而非环境维度)成比例的动态遗憾,并刻画了在标量反馈下子空间恢复的辨识边界。
用于条件生成压缩感知的主动学习
本文提出了一个条件生成压缩感知框架,证明了基于提示词条件化模型在稳定恢复方面的界限,并通过在 Stable Diffusion 上的实验展示了提示词匹配如何影响采样分布。
稀疏性与叠加对简单自编码器损失的影响
本文对神经网络中的叠加现象进行了数学分析,推导了具有幂激活函数的简单自编码器的L2重建损失的上下界,验证了Elhage等人的实证结果。