深度卷积神经网络(CNN)是一种特殊类型的神经网络，已在各种竞争基准上显示出最先进的结果。深度CNN架构在具有挑战性的基准任务上取得的高性能表明，创新的架构思想和参数优化可以提高CNN在各种视觉相关任务上的性能。本调查根据空间利用率、深度、多路径、宽度、特征图利用率、通道提升和注意力将最近的CNN架构创新分为七个不同的类别。LeCun1989年在处理网格状拓扑数据（图像和时间序列数据）方面的工作使CNN脱颖而出。CNN被认为是理解图像内容的最先进技术之一，并在图像识别、分割、检测和检索相关任务上展示了最先进的性能。CNN的成功引起了学术界以外的关注。在业界，谷歌、微软、AT&T、NEC、Facebook等公司都成立了研究团队，为CNN探索新的架构。目前，图像处理竞赛中的大多数领先者都采用基于CNN的深度模型。自2012年以来，针对CNN架构提出了不同的创新。这些创新可以分为参数优化、正则化、结构重组等。但据观察，CNN网络的性能提升应该主要归功于处理单元的重构和新模块的设计。由于AlexNet在ImageNet数据集上表现出卓越的性能，基于CNN的应用越来越受欢迎。同样，Zeiler和Fergus引入了特征层次可视化的概念，它扭转了使用VGG等深层结构在简单的低空间分辨率下提取特征的趋势。如今，大多数新架构都建立在VGG引入的简单原则和同构拓扑之上。另一方面，Google团队引入了一个非常著名的关于拆分、转换和合并的概念，称为Inception模块。Inceptionblocks首次使用了层内分支的概念，允许在不同的空间尺度上进行特征提取。2015年，为了训练深度CNN，Resnet引入的residualconnection概念名声大噪，后来的Inception-ResNet、WideResNet、ResNext等大部分网络都在使用它。与此类似，WideResnet、PyramidalNets、Xception等一些架构都引入了多层变换的概念，通过增加基数和增加宽度来实现。因此，研究重点从参数优化和连接重调转向网络架构设计（层结构）。这导致了许多新的架构概念，如通道提升、空间和通道利用、基于注意力的信息处理等。论文结构如下：图1：文章结构图2图2：典型模式识别（OR）的基本布局）系统。PR系统分为三个阶段：阶段1与数据挖掘相关，阶段2进行预处理和特征选择，阶段3基于模型选择、参数调整和分析。CNN具有良好的特征提取能力和较强的判别能力，因此在PR系统中，可用于特征提取/生成和模型选择阶段。CNN的架构创新自1989年以来，CNN架构有了很多不同的改进。CNN的所有创新都是通过深度和空间的结合来实现的。根据架构修改的类型，CNN可大致分为7类：基于空间利用、深度、多路径、宽度、通道提升、特征图利用和注意力的CNN。深度CNN架构的分类如图3所示。图3：深度CNN架构的分类1.基于空间利用的CNNCNN具有大量参数，例如处理单元（神经元）的数量、层数、过滤器大小、步幅、学习率和激活函数。由于CNN考虑输入像素的邻域（局部性），因此可以使用不同大小的过滤器来探索不同级别的相关性。因此，在2000年代初期，研究人员利用空间变换来提高性能，并额外评估了不同大小的过滤器对网络学习率的影响。不同大小的过滤器封装了不同级别的粒度；通常，较小的过滤器提取细粒度信息，而较大的过滤器提取粗粒度信息。这样，通过调整滤波器大小，CNN可以在粗粒度和细粒度细节上都有很好的表现。2.Depth-basedCNN深度CNN架构是基于这样的假设，即随着深度的增加，网络可以通过大量的非线性映射和改进的特征表示更好地逼近目标函数。网络深度在监督学习的成功中起着重要作用。理论研究表明，深度网络可以比浅层网络更有效地表示某些20种函数类型。2001年，Csáji陈述了万能逼近定理，指出单个隐藏层足够接近任何函数，但这需要指数级数量的神经元，通常使它在计算上不可行。在这方面，Bengio和elalleau认为更深层次的网络有可能以更低的成本保持网络的表达能力。2013年，Bengio等人。凭经验表明，对于复杂的任务，深度网络在计算和统计上都更有效率。在2014-ILSVR比赛中表现最好的Inception和VGG，进一步说明了深度是调整网络学习能力的重要维度。一旦一个特征被提取出来，它的提取位置就变得不那么重要了，只要它相对于其他位置的大致位置被保留。池化或下采样（如卷积）是一种有趣的局部操作。它总结了感受野周围的类似信息，并输出该局部区域内的主要响应。作为卷积运算的输出，特征图案可能出现在图像的不同位置。3.基于多路径的CNN深度网络的训练是相当具有挑战性的，这也是最近许多深度网络研究的主题。深度CNN为复杂任务提供高效的计算和统计。然而，更深的网络可能会出现性能下降或梯度消失/爆炸的问题，这通常是由深度增加而不是过度拟合引起的。梯度消失问题不仅会导致更高的测试误差，还会导致更高的训练误差。为了训练更深层次的网络，提出了多路径或跨层连接的概念。多路径或捷径连接可以通过跳过一些中间层将一层系统地连接到另一层，从而使特定信息跨层流动。跨层连接将网络分成几个部分。这些路径还试图通过使较低层可以访问梯度来解决梯度消失问题。为此，使用了不同类型的快捷连接，例如零填充、基于投影、丢弃和1x1连接等。激活函数是有助于学习复杂模式的决策函数。选择合适的激活函数可以加快学习过程。卷积特征图的激活函数定义为等式（3）。4.基于宽度的多连接CNN从2012年到2015年，网络架构关注深度的力量和多通道监督连接在网络正则化中的重要性。然而，网络的宽度与深度一样重要。多层感知器通过在一层内并行使用多个处理单元，获得了将复杂函数映射到感知器上的优势。这表明宽度和深度一样，是定义学习原则的重要参数。卢等人。和Hanin&Sellke最近表明，具有线性整流激活函数的神经网络需要足够宽，以随着深度的增加保持一般近似特性。此外，如果网络的最大宽度不大于输入维数，则紧集上的连续函数类不能被任意深度的网络很好地逼近。因此，多层堆叠（添加层）可能不会增加神经网络的表示能力。与深层架构相关的一个重要问题是某些层或处理单元可能无法学习有用的功能。为了解决这个问题，研究重点从较深和较窄的架构转移到较浅和较宽的架构。5.基于特征图（通道特征图）开发的CNNCNN以其分层学习和自动特征提取能力在MV任务中广为人知。特征选择在决定分类、分割和检测模块的性能方面起着重要作用。传统特征提取技术中分类模块的性能受限于特征的单一性。与传统技术相比，CNN使用多阶段特征提取，根据分配的输入提取不同类型的特征（在CNN中称为特征图）。然而，一些特征图几乎没有或没有对象判别效果。巨大的特征集具有噪声效应，可能导致网络过度拟合。这表明，除了网络工程之外，类特定特征图的选择对于提高网络的泛化性能至关重要。在本节中，特征图和通道可以互换使用，因为许多研究人员使用通道一词代替特征图。6.基于通道（输入通道）利用率的CNN图像表示在决定图像处理算法的性能方面起着重要作用。图像的良好表示可以通过紧凑的代码定义图像的显着特征。在不同的研究中，不同类型的传统过滤器被用来从单一类型的图像中提取不同层次的信息。这些不同的表示被用作模型的输入以提高性能。CNN是一个很好的特征学习器，可以根据问题自动提取判别特征。然而，CNN的学习依赖于输入表征。如果输入中缺乏多样性和类定义信息，CNN作为鉴别器的性能就会受到影响。为此，辅助学习器的概念被引入到CNN中，以改善网络的输入表示。7.基于注意力的CNN中不同层次的抽象在定义神经网络的判别能力方面起着重要作用。除此之外，选择上下文相关的特征对于图像定位和识别也很重要。在人类视觉系统中，这种现象称为注意力。人类观察场景，一次又一次地快速关注与上下文相关的部分。在这个过程中，人类不仅关注所选区域，还会推理对该位置处物体的不同解释。因此，它有助于人类更好地掌握视觉结构。类似的可解释性被添加到神经网络，如RNN和LSTM。上述网络利用注意力模块生成序列数据并根据新样本在先前迭代中的出现对新样本进行加权。各种研究人员已将注意力概念添加到CNN，以改进表示并克服数据的计算限制。注意力的概念有助于使CNN更智能地识别杂乱背景和复杂场景中的对象。论文：ASurveyoftheRecentArchitecturesofDeepConvolutionalNeuralNetworks论文地址：https://arxiv.org/abs/1901.06032摘要：DeepConvolutionalNeuralNetwork(CNN)是一种特殊类型的神经网络，用于各种竞赛当前***结果显示在基准测试中。深度CNN的超学习能力主要是通过使用多个非线性特征提取阶段来实现的，它可以自动从数据中学习层次表示。大量数据的可用性和硬件处理单元的改进加速了CNN的研究，最近也报道了非常有趣的深度CNN架构。最近，深度CNN架构在具有挑战性的基准任务上取得的高性能表明，创新的架构思想和参数优化可以提高CNN在各种视觉相关任务上的性能。鉴于此，人们探索了有关CNN设计的不同想法，例如使用不同的激活和损失函数、参数优化、正则化和处理单元的重新配置。然而，通过重新配置处理单元已经实现了表示能力的重大改进。特别是，使用块而不是层作为结构单元的想法受到了极大的赞赏。该调查将最近的CNN架构创新分为七个不同的类别。这七个类别分别基于空间利用率、深度、多路径、宽度、特征图利用率、信道提升和注意力。此外，本文涵盖了对CNN构建块的基本理解，并揭示了CNN及其应用当前面临的挑战。【本文为栏目组织《机器之心》微信公众号《机器之心（id：almosthuman2014）》原文翻译】点击此处查看作者更多好文
