mapping-networks

本文介绍了“千字节模型”，一种极端压缩范式，其中神经网络权重从种子和量化潜向量重新生成，利用映射网络和分块种子基将存储减少到千字节级别。

本文介绍了FLITE（联邦低秩迭代训练引擎），一种联邦微调方法，通过使用冻结的仿射映射网络，从一个小型可训练潜变量和低秩可种子重生的因子分解生成权重，将每轮每客户端的通信量降至每轮1280个浮点数（约5KB）——相比于全权重FedAvg减少了8718倍。在CIFAR-100数据集上使用ResNet-18进行测试，准确率与全权重FedAvg相差在0.5个百分点以内。