千字节模型：神经网络作为种子与量化潜向量

arXiv:2608.00860v1 公告类型：新 摘要：存储和传输训练好的神经网络的成本随其参数数量增长，这是空中下载更新、设备端库和其他带宽受限部署的瓶颈。我们研究了一种极端形式的模型压缩，其中可部署的产物不是权重，而是用于重新生成权重的简短配方。基于映射网络（Mapping Networks），它将网络权重表示为紧凑的可训练潜变量与固定随机基础的非线性函数，我们观察到只需存储潜变量，因为基础和初始化中心可由一个整数种子复现。模型变成种子加上量化潜变量，其大小由潜变量维度和位宽决定，而非参数数量。我们正式化这一产物，并引入一种分块种子基础，可扩展到投影无法在内存中保存的网络。在我们的实验中，映射模型的准确性与同一网络被激进量化到每权重几个比特时的准确性相当，同时占用的字节数要少得多。达到最激进的位宽取决于在循环中加入量化来微调潜变量。结果不依赖于特定的随机基础，而结构化基础让权重即使对于大型网络也能几乎免费地重新生成。

# 千字节模型：作为种子与量化潜变量的神经网络

###### 摘要

存储和传输训练好的神经网络的开销与其参数数量成正比，这成为空中更新、设备端库以及其他带宽受限部署的瓶颈。我们研究一种极端的模型压缩形式，其中可部署的产物不是权重，而是一个用于重新生成权重的简短配方。基于映射网络（Mapping Networks）——它将网络权重表示为紧凑可训练潜变量与固定随机基底的非线性函数——我们观察到，只需要存储潜变量即可，因为基底和初始化中心可以仅凭一个整数种子重现。模型由此变为一个种子加上一个量化潜变量