模型压缩6倍而无需重新训练：一组数学家提出了一种新的量化方法，用于重新训练的更多资源。神经网络压缩是指在对神经网络性能影响很小的情况下，通过相关方法减少网络的参数和存储空间。大致可以分为三种：逼近、量化和剪枝。最近，俄罗斯人民友谊大学(RUDN)的一组数学家找到了一种方法，可以将经过训练的神经网络的规模缩小六倍，而无需花费更多资源对其进行再训练。该方法基于寻找初始系统及其简化版本中神经连接权重之间的相关性。这项研究的结果发表在期刊《Optical Memory and Neural Networks》上。人工神经网络和生物体内神经元的结构基于相同的原理。网络中的节点是相互连接的；它们中的一些接收信号，一些通过激活或抑制链中的下一个元素来发送信号。任何信号（例如图像或声音）的处理都需要许多网络元素以及它们之间的连接。然而，计算机模型只有有限的模型容量和存储空间。为了处理大量数据，该领域的研究人员不得不发明各种方法来降低对模型功率的需求，包括所谓的量化。这有助于减少资源消耗，但需要对系统进行再培训。RUDN大学的一些数学家发现后者是可以避免的。RUDN大学Nikolskii数学研究所助理教授IakovKarandashev博士说：“几年前，我们在Hopfield网络中进行了高效且具有成本效益的权重量化。这是一个关联记忆网络，其间具有对称连接。期间。它的操作，网络的活动减少到一定的平衡状态，当达到这种状态时，任务被认为已经解决。在这项研究中获得的见解后来在今天应用于图像前馈深度学习网络中在识别方面非常受欢迎。通常这些网络在量化后需要重新训练，我们找到了避免重新训练的方法。”简化人工神经网络背后的主要思想是所谓的权重量化，它减少了每个权重的数量。量化提供信号的平均化：例如，如果将其应用于图像，代表相同颜色的不同阴影的所有像素将变得相同。从数学上讲，这意味着通过某些参数进行的相似神经连接应该具有相同的权重（或重要性），即由相同的数字表示。RUDN大学的一组数学家进行了计算并创建了公式，这些公式有效地建立了量化前后神经网络权重之间的相关性。基于此，科学家们开发了一种算法，训练有素的神经网络可以使用该算法对图像进行分类。在这项研究的实验中，数学家们使用了一个包含50,000张照片的数据集，这些照片可以分为1,000个组。训练后，网络使用新方法进行量化，不再重新训练。该研究随后将实验结果与其他量化算法进行了比较。RUDN大学的IakovKarandashev补充道：“量化后，分类准确率仅降低了1%，但所需的存储容量却降低了6倍。实验表明，由于初始权重和量化权重之间的强相关性，网络不需要重新训练。这种方法有助于在执行时间敏感任务或在移动设备上运行任务时节省资源。”
