本文经AI新媒体量子位（公众号ID：QbitAI）授权转载，转载请联系出处。在相同的准确率下，实际参数量的压缩比之前的方法最多可以提高120倍。这是滴滴实习生提出的自动结构化剪枝压缩算法框架AutoCompress带来的性能提升。核心是在深度模型剪枝中自动寻找超参数，去除模型中不同层的参数冗余。对CIFAR和ImageNet数据集的广泛测试表明，AutoCompress明显优于各种神经网络压缩方法和框架。该研究也被AAAI2020录用。研究人员表示，这项研究可以替代人工设计流程，实现超高压缩比，满足嵌入式端运行深度模型的实时性要求。他们是如何做到的？让我们在下面一一阅读。在深度模型剪枝中自动设置超参数近年来，随着深度神经网络模型性能的不断提升，模型的骨干网络参数数量越来越大，存储和计算成本不断增加，使其难以部署在资源受限的嵌入中。在平台上。深度神经网络模型压缩技术成为解决这一问题不可或缺的关键，也成为近年来的研究热点之一。方法也有很多，其中之一就是结构化剪枝，它可以在平台层面解决硬件执行效率低、内存访问效率差、计算并行度低等问题，被学术界广泛接受。随着业界的关注。但它也有“硬伤”，算法实现过程中涉及到大量的超参数设置。比如模型的压缩维度如何确定，或者模型中每一层的压缩比例如何确定等等。这就需要专家带着一点“掉毛”的设计指导，以及人工设计这些的过程超参数冗长而复杂。效果不一定好，毕竟很大程度上取决于相关人员的调参经验。那么有研究人员开始思考，是否可以自动设置超参数？如果实现了，将能够大大提高算法实现的效率，想想就很振奋。于是有人开始动手了。例如，麻省理工学院、CMU和谷歌的研究人员提出了一种称为AMC的方法，该方法使用深度强化学习(DRL)来决定每一层的剪枝。部分。自动调参的想法虽然已经实现，但是也存在一定的局限性。一方面，本研究仅使用单一输出通道（滤波器）剪枝维度；另一方面，为了获得稀疏模型，所采用的剪枝方法只是在模型训练过程中引入静态正则项。但更深层次的局限在于，基于DRL框架的剪枝方法在本质上与剪枝问题不兼容。结果中，最高压缩比仅为非结构化压缩比的5倍。在滴滴的研究中，针对这些不足进行了改进，提出了一种通用流程，专门用于神经网络权重剪枝问题超参数设置的自动化过程。总体来说，分为4个步骤。它从行为采样（步骤1）开始，然后是快速评估（步骤2），然后确定决策（步骤3），最后是剪枝操作（步骤4）。基于上述通用流程，针对以往方法的局限性，通过整合现有的深度神经网络和机器学习框架，实现了最高效的深度神经网络自动结构化剪枝通用框架，并命名为自动压缩。实际参数的压缩最多可以提高120倍。自动压缩是如何工作的？论文中提到了三个新的设计：（1）提出了一种混合结构化剪枝维度；(2)采用高效强大的神经网络剪枝算法ADMM（AlternatingMultiplierOptimizationAlgorithm）对训练过程进行正则化优化。执行动态更新；(3)使用增强的引导启发式??搜索方法进行行为抽样。基于这些新的设计，他们提出的框架如下：总的来说，AutoCompress框架有两个主要的自动模型剪枝步骤。首先，通过基于ADMM算法的结构化剪枝，得到结构稀疏的权重分布模型。;然后通过网络结构净化（Purification）操作，找到并删除ADMM过程中一小部分不能完全删除的冗余权重。值得注意的是，这两个步骤都基于相同的启发式搜索机制。例如，给定一个原始模型，他们设置了两种目标函数——按权重数或按操作数(FLOPs)。搜索过程要经过几轮，比如第一轮的目标是压缩2倍的权数，第二轮的目标是压缩4倍的权数。在每一轮搜索过程中，首先初始化一个行为（超参数），然后每次对该行为进行扰动（超参数的微小变化）以产生新的行为。根据模拟退火算法的原理，对两种行为进行评估，如果新的行为评估结果好于原来的结果，则接受该行为，如果新的行为评估结果差于原来的结果，则接受该行为以一定的概率。每轮算法中的温度参数T都会减小，当T下降到一定阈值时停止搜索。最后，根据搜索得到的超参数，对神经网络进行结构化和剪枝。效果如何？他们还测试了：在CIFAR-10数据集上的VGG-16上，结构化剪枝压缩比高达52.2倍，没有损失精度，在三星GalaxyS10智能手机上测试（使用代码生成优化版的编译器），它以2.7毫秒的速度运行。ResNet-18在不损失精度的情况下，在CIFAR-10数据集上实现了54.2倍的结构化剪枝压缩率。与之前的方法相比，如果考虑到ResNet-18和ResNet-50本身的尺寸差距，权重参数可以比之前的方法减少120倍，精度有所提高。在ImageNet数据集上，VGG-16实现了6.4倍的结构化压缩率，精度损失仅为0.6%，ResNet-18实现了3.3倍的结构化压缩率，精度无损失。此外，AutoCompress框架还可以应用于非结构化剪枝。压缩结果使得ResNet-50在ImageNet数据集上实现了9.2倍的压缩而没有精度损失，甚至达到了17.4倍的压缩率，损失仅为0.7%。准确性。因此，他们得出结论，与其他方法相比，AutoCompress的效果超过了各种神经网络压缩方法和框架，得到的高效神经网络模型可以在嵌入式移动系统中实现实时推理运算。滴滴AILab实习生研究的第一作者刘宁是东北大学博士生，师从东北大学王彦之教授。高中时曾获北京市高中物理竞赛二等奖。本科电子信息工程专业，获全国大学生物联网竞赛三等奖。2015年获得雪城大学硕士学位。此次介绍的研究是其2019年在滴滴实习的成果之一。实习指导老师为滴滴智控首席科学家唐健。在滴滴实习之前，他还在网易和360实习过。根据滴滴的报告，他还谈到了自己的研究计划：希望在深度学习模型压缩和设计方面继续深入研究，并将学到的知识和研究成果应用到现实场景中。目前，该框架已在滴滴得到有效应用。
