为了处理更复杂的任务，近年来神经网络的规模越来越大，如何高效地存储和传输神经网络变得非常重要。另一方面，随着彩票假说（LTH）的引入，随机稀疏神经网络最近展现出强大的潜力，如何利用这种潜力来提高网络的存储和传输效率也值得探索。东北大学和罗切斯特理工学院的研究人员提出了参数有效掩蔽网络（PEMN）。作者首先探讨了由有限数量的随机数生成的随机网络的表征能力。实验表明，即使网络是由有限数量的随机数生成的，通过选择不同的子网络结构，它仍然具有良好的表示能力。通过这次探索性实验，作者很自然地提出了用一组有限个随机数作为原型，结合一组掩码来表达一个神经网络。由于有限数量的随机数和二进制掩码占用的存储空间很小，作者提出了一种新的网络压缩思路。文章已被NeurIPS2022接受。代码是开源的。论文地址：https://arxiv.org/abs/2210.06699论文代码：https://github.com/yueb17/PEMN1。相关研究MIT研究人员提出了LotteryTicketHypothesis(ICLR'19)：在一个随机初始化的网络中，有一个彩票子网络（winningticket）在单独训练时取得了很好的效果。彩票假设探索了随机稀疏网络的可训练性。Uber研究人员提出Supermask(NeurIPS'19)：在一个随机初始化的网络中，有一个子网络可以直接用于推理而无需训练。Supermask探索了随机稀疏网络的可用性。华盛顿大学的研究人员提出了Edge-Popup(CVPR'20)：通过反向传播学习子网络的mask，大大提高了随机稀疏网络的可用性。2.研究动机/过程以上相关研究从可训练性和可用性等不同角度探讨了随机稀疏网络的潜力，其中可用性也可以理解为表示能力。在这项工作中，作者感兴趣的是在没有训练权重的情况下，从随机数生成的神经网络的代表性如何。随着对这个问题的探索，作者提出了Parameter-EfficientMaskingNetworks(PEMN)。自然地，作者使用PEMN为网络压缩提供了一种新的思路，并以PEMN为例探索其潜在的应用场景。3.探索由随机数组成的神经网络的表示能力给定一个随机网络，作者选择Edge-Popup算法在其中选择子网络来探索其表示能力。不同的是，作者没有随机初始化整个网络，而是提出了三种参数密集型网络生成策略来使用原型构建随机网络。一层：选择网络中重复结构的权重作为原型，用相同的结构填充其他网络层。Max-layerpadding(MP)：选择参数数量最多的网络层作为原型，截断相应的参数量来填充其他网络层。随机向量填充（RP）：选择一定长度的随机向量作为原型，复制它来填充整个网络。三种不同的随机网络生成策略逐渐减少网络中唯一值的数量。我们根据不同策略得到的随机网络来选择子网络，从而探索由有限数量的随机数生成的随机网络。代表性的潜力。上图展示了使用ConvMixer和ViT网络进行CIFAR10图像分类的实验结果。Y轴是准确率，X轴是使用不同策略得到的随机网络。随着X轴变大，随机网络中不重复随机数的个数逐渐减少（RP后面的数字表示RP中不重复随机数的个数与MP的比值）。根据实验结果，我们观察到即使随机网络具有非常有限的非重复随机数（例如PR_1e-3），它??仍然可以很好地保持所选子网络的表示能力。至此，作者通过不同的随机网络生成策略探索了由有限数量的随机数组成的神经网络的表示能力，并观察到即使非重复随机数非常有限，对应的随机网络仍然可以表示数据很好。同时，基于这些随机网络生成策略，结合得到的子网掩码，作者提出了一种新型的神经网络，称为Parameter-EfficientMaskingNetworks(PEMN)。4.一种网络压缩的新思路本文以神经网络压缩为例，拓展PEMN的潜在应用。具体而言，本文提出的不同随机网络生成策略可以有效地使用原型来表示完整的随机网络，尤其是最细粒度的随机向量填充（RP）策略。作者使用RP策略中的随机向量原型和与之对应的一组子网掩码来表示一个随机网络。其中，prototype需要以浮点数形式存储，mask只需要以二进制形式存储。因为RP中原型的长度可以很短（因为有限个不重复的随机数仍然有很强的表示能力），表示一个神经网络的开销会变得很小，即存储一个有限的-长度浮点数格式二进制格式的随机向量和掩码数组。与传统的稀疏网络存储子网络的浮点值相比，本文提出了一种新的网络压缩思想来高效地存储和传输神经网络。上图中，作者使用PEMN对网络进行了压缩，并与传统的网络剪枝方式进行了对比。实验使用ResNet网络在CIFAR数据集中做图像分类任务。我们观察到新的压缩方案通常优于传统的网络修剪，特别是在非常高的压缩比下，PEMN仍然可以保持良好的准确性。5.结论受最近随机网络展示的潜力的启发，本文提出了不同的参数密集型策略来构建随机神经网络，然后探索了用有限的非重复随机数生成的随机神经网络的表示潜力，并提出了一种参数密集型掩蔽网络参数高效掩蔽网络（PEMN）。作者将PEMN应用于网络压缩场景，挖掘其在实际应用中的潜力，为网络压缩提供了一种新的思路。作者提供了大量的实验，表明即使随机网络中只有非常有限的不重复随机数，通过子网络的选择仍然具有很好的表示能力。此外，与传统剪枝算法相比，实验表明所提方法能够取得更好的网络压缩效果，验证了PEMN在该场景下的应用潜力。
