论文页面 - 神经网络谱容量：仅从网络规格测量与设计架构

来源：https://huggingface.co/papers/2609.23087

摘要

现代Transformer设计与压缩都归结为在预算下分配容量。衡量这些决策的标准标量参数（#Params 和 #FLOPs）仅捕捉了模型规模和计算量，而无法反映架构结构：两个具有相同参数预算但不同深度-宽度、注意力头或前馈网络分配的架构会获得相同的分数，但行为却不同。我们提出神经网络谱容量（Neural Spectral Capacity, NSC），这是一个基于每个权重矩阵奇异值谱的闭式标量。在标准随机初始化下，Marchenko-Pastur定律使得仅从架构规格即可计算NSC，无需模型实例化、数据或梯度。其逐层可加性结构催生了NSC-DP，这是一个精确的动态规划求解器，能在CPU上数秒内返回资源约束下全局最大化NSC的架构——这是现有免训练代理方法的黑盒搜索无法提供的保证。实证表明，在七族Transformer和CNN架构（在FlexiBERT上，对参数数量差异小于10%的架构对，其排序相关系数τ=0.505，而#Params在此情况下下降至0.082）的排序任务中，NSC优于#Params、#FLOPs及代表性免训练代理方法；NSC-DP在2秒内发现的Transformer-XL架构在WikiText-103上超越了人工设计的基线；并且能在不使用任何校准数据的情况下，将LLaMA-7B剪枝至在八项常识推理任务上表现最佳的5.7B模型，速度比最强的免训练代理基线快约5900倍。

查看 arXiv 页面 (https://arxiv.org/abs/2609.23087) 查看 PDF (https://arxiv.org/pdf/2609.23087) GitHub2 (https://github.com/Optima-CityU/neural-spectral-capacity) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.23087)

引用本文的模型0

无模型链接本文 在模型 README.md 中引用 arxiv.org/abs/2609.23087 以从本页链接。

引用本文的数据集0

无数据集链接本文 在数据集 README.md 中引用 arxiv.org/abs/2609.23087 以从本页链接。

引用本文的 Spaces0

无 Space 链接本文 在 Space README.md 中引用 arxiv.org/abs/2609.23087 以从本页链接。

包含本文的收藏0

无收藏包含本文 将本文添加到收藏 (https://huggingface.co/new-collection) 以从本页链接。