稀疏性的代价:使用稀疏和稀疏化测量的稀疏恢复的充分条件
摘要
本文确定了在高信噪比环境下稀疏二进制信号的最大似然支持恢复的足够样本大小,揭示了信息论阈值以及测量稀疏性与计算成本之间的权衡。
查看缓存全文
缓存时间: 2026/09/10 18:12
论文页面 - 稀疏的代价:稀疏与稀疏化测量下稀疏恢复的充分条件
来源:https://huggingface.co/papers/2509.01809
摘要
针对稀疏二进制信号,在高信噪比区域下,本文确定了最大似然支撑集恢复的充分样本量,揭示了信息论阈值以及测量稀疏性与计算成本之间的权衡,分析亦涵盖了稀疏化的稠密设计。
我们考虑从含噪线性测量中恢复稀疏二进制信号的支撑集问题。对于稀疏高斯测量矩阵,我们确定了在高信噪比区域(其中 p 表示信号维度,s 表示信号中非零分量的数量,d 表示测量矩阵每行的期望非零分量数)进行最大似然恢复的最小样本量的充分条件。结合已知的下界,这得出了阶为 (s \log(p/s) / \log(ds/p)) 的信息论阈值,明确了测量稀疏性的代价。特别地,我们强调了这样一个区域:由测量稀疏性引起的样本复杂度损失是对数级的,而计算增益几乎是线性的。其次,我们研究了对原本稠密的高斯设计进行稀疏化后的恢复问题:观测由稠密设计生成,而估计使用独立稀疏化的设计和重新缩放的响应。在比例区域 (s=\alpha p),(d=\psi p) 中,我们证明,对于每个固定的目标误差水平 (\delta) 和每个松弛量 (\varepsilon>0),样本量阶为 (p/\psi^2) 即足以在任意小的 (\psi) 下实现支撑集恢复。
查看arXiv页面 (https://arxiv.org/abs/2509.01809) 查看PDF (https://arxiv.org/pdf/2509.01809) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2509.01809)
在您的代理中获取此论文:
hf papers read 2509\.01809
没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有模型链接到此论文
在模型的README.md中引用 arxiv.org/abs/2509.01809 以从此页面链接它。
引用此论文的数据集 0
没有数据集链接到此论文
在数据集的README.md中引用 arxiv.org/abs/2509.01809 以从此页面链接它。
引用此论文的空间 0
没有空间链接到此论文
在空间的README.md中引用 arxiv.org/abs/2509.01809 以从此页面链接它。
包含此论文的收藏 0
没有收藏包含此论文
将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接它。
相似文章
推理时上下文稀疏性:幻象还是机遇?
本文认为,极端的上下文稀疏性是LLM推理的一个有原则且可行的基础,展示了当前模型能够容忍高达100倍的稀疏性而无质量损失,并且稀疏解码内核可以在现有硬件上将处理速度提升10倍。
不适定信号恢复中后验扩散先验的Hilbert尺度稳定性
该论文研究了Hilbert尺度上线性逆问题的后验扩散先验,在显式分数放大条件下推导出稳定性理论与非渐近恢复界,给出由算子平滑性、真值正则性与分数误差共同决定的可恢复正则性阈值。
2:4 稀疏性还值得采用吗?大语言模型推理中的半结构化稀疏性与量化之比较
该论文系统比较了 2:4 半结构化稀疏化与量化在 LLM 推理中的取舍,发现在仍有更低精度可用时,加入 2:4 稀疏化既更慢又更不准确;只有在达到硬件量化下限(如 FP8/NVFP4)后,2:4 稀疏化才展现出 1.3–1.7× 的线性层加速价值,且需通过重训练恢复质量。
稀疏自编码器中数据的边际收益递减:功能行为并不保证特征的可复现性
该论文研究了稀疏自编码器(SAEs)所需的最小激活数据量,发现功能行为(如重建)在较少数据下即可收敛,但特征级可复现性仍随数据持续提升,表明SAE训练可在匹配目标的前提下大幅降低数据成本。
激活离群值重要性:量化多模态LLMs的鲁棒恢复
本文将激活量化识别为超低比特量化多模态LLMs中的主要瓶颈,并提出残差回退量化(RFQ)以最小开销恢复性能。