你需要知道的六种神经网络首先，很多人都难以识别各种类型的神经网络及其解决的问题，更不用说如何区分它们了。其次，在某些方面更糟糕的是，人们在谈论神经网络时经常不加区别地使用术语“深度学习”。下面将讨论目前业界主流的一些神经网络架构，从事人工智能行业的人应该对这些架构非常熟悉：1.前馈神经网络这是最基本的神经网络类型，受益于先进性和技术的发展，开发人员可以添加更多的隐藏层，而不必太担心他们的计算时间。1990年深度学习技术“教父”GeoffHinton引入反向传播算法后，前馈神经网络开始得到广泛应用。这种类型的神经网络基本上由一个输入层、多个隐藏层和一个输出层组成。它的运行没有循环，信息只能向前流动。前馈神经网络一般适用于数值数据的监督学习，但也有一些缺点：不能与时序数据一起使用；不能很好地处理图像数据，因为其模型的性能在很大程度上取决于特征，而手动查找图像或文本来表征数据本身是一项相当困难的任务。因此，行业厂商相继开发了卷积神经网络和递归神经网络。2.卷积神经网络（CNN）在卷积神经网络（CNN）普及之前，人们使用很多算法对图像进行分类。人们过去常常从图像中创建特征，然后将这些特征输入到支持向量机(SVM)等分类算法中。一些算法还使用图像的像素级值作为特征向量。例如，用户可以训练具有784个特征的支持向量机(SVM)，其中每个特征是一个28×28的图像像素值。那么，为什么要使用卷积神经网络(CNN)，为什么它要好得多？因为您可以将卷积神经网络(CNN)视为图像的自动特征提取器。如果使用带有像素向量的算法，像素之间的大量空间相互作用会丢失，而卷积神经网络(CNN)有效地使用相邻像素信息，首先通过卷积有效地对图像进行下采样，然后在预测层使用结尾。人工智能科学家YannleCun于1998年首次提出数字分类这一概念，使用卷积层来预测数字。后来在2012年被Alexnet推广，它使用多个卷积层在Imagenet上实现了更高级的预测。因此，使其成为图像分类的首选算法。随着时间的推移，神经网络这一特定领域取得了各种进展，研究人员为卷积神经网络(CNN)开发了各种架构，如VGG、Resnet、Inception、Xception等，不断推动图像分类的发展.相比之下，卷积神经网络(CNN)也用于对象检测，这可能是一个问题，因为除了对图像进行分类之外，还需要检测图像中单个对象周围的边界框。过去，研究人员采用了许多架构（如YOLO、RetinaNet、FasterRCNN等）来解决目标检测问题，所有这些架构都使用卷积神经网络(CNN)作为其架构的一部分。3.循环神经网络（LSTM/GRU/Attention）卷积神经网络（CNN）主要对图像的意义进行分类，循环神经网络（RNN）主要对文本的意义进行分类。递归神经网络(RNN)可以帮助人们学习文本的顺序结构，其中每个词都依赖于前一个词或前一个句子中的一个词。简单解释一下循环神经网络（RNN），把它想象成一个黑盒子，输入一个隐藏状态（一个向量）和一个词向量，输出一个输出向量和下一个隐藏状态。这个黑盒子有一些权重需要使用损失的反向传播来调整。同样，将相同的单元格应用于所有单词，以便在句子中的单词之间共享权重。这种现象称为权重共享。这里是同一个RNN单元的扩展版本，其中每个RNN单元对每个单词“token”进行操作（token是服务器生成的一串字符串，作为客户端发出请求的一端的标识），并通过隐藏状态到下一个单元。对于长度为4的序列（例如“快速的棕色狐狸”），循环神经网络(RNN)单元最终给出4个输出向量，可以将它们连接起来，然后用作密集前馈神经架构的一部分，如下所示显示用于解决最终任务语言建模或分类任务：长短期记忆网络(LSTM)和门控循环单元(GRU)是循环神经网络(RNN)的子类，它们通过引入不同的门信息（也称为梯度消失问题），这些门通过添加或删除信息来调节神经元状态。在高层次上，LSTM/GRU可以理解为使用循环神经网络(RNN)单元来了解长期依赖关系。RNN/LSTM/GRU主要用于各种语言建模任务，其目标是在给定输入词流的情况下预测下一个词，或用于具有顺序模式的任务。接下来要提到的是基于注意力的模型，但这里只讨论直觉。以往传统的文本特征提取方法如TFIDF/CountVectorizer都是通过提取关键词来实现的。在确定文本的类别时，有些词比其他词更有帮助。然而，在这种方法中，文本的顺序结构有些丢失。使用LSTM和深度学习方法，可以处理序列结构，但失去了为更重要的词赋予更高权重的能力。那么有没有可能两全其美呢？答案是肯定的。其实关注度才是用户需要的。正如专家所说：“并不是所有的词都能平等地表达句子的意思。因此，我们引入注意力机制来提取对句子的意思更重要的词，并聚合这些信息词所表达的意思4.TransformersTransformers已经成为实现任何自然语言处理（NLP）任务的事实标准，最近推出的GPT-3Transformers是迄今为止最大的神经网络。过去，LSTM和GRU体系结构和注意机制一直是语言建模问题和翻译系统的最新方法。这些体系结构的主要问题是它们本质上是递归的，并且运行时间随着序列长度的增加而增加。也就是说，这些体系结构取一个句子并按顺序处理每个单词，因此随着句子长度的增加，它的整体运行时间也会增加。Transformer是一种注意力机制基于模型的架构。Transformer完全依赖注意力机制来绘制输入和输出之间的全局依赖关系。这使其成为更快、更准确地解决自然语言处理(NLP)领域各种问题的首选架构。5.生成对抗网络（GAN）近年来，数据科学领域已经看到一些人工智能系统伪造人脸图像，无论是在论文、博客还是视频中。现在已经到了很难区分真实人脸和人工智能生成的人脸的阶段。所有这些图像都是通过生成对抗网络(GAN)实现的。生成对抗网络(GAN)有可能改变人们创建视频游戏和特效的方式。使用这种方法，可以根据需要创建逼真的纹理或角色，从而开辟了无限的可能性。生成对抗网络(GAN)通常使用两个对抗神经网络来训练计算机充分了解数据集的性质，并生成足够令人信服的假图像。其中一个神经网络生成假图像（生成器），另一个神经网络试图对哪些是假图像进行分类（鉴别器）。通过相互对抗和竞争，两个神经网络的功能和性能会随着时间的推移而提高。可以将“生成器”想象成小偷，将“鉴别器”想象成警察。小偷偷得越多，他的手段就越好。同时在这个过程中，警方抓小偷的能力也越来越强。这两个神经网络的损失主要取决于另一个网络的性能：判别器的网络损失是生成器网络质量的函数：如果判别器被生成器的假图像所欺骗，则损失率很高。生成器的网络损失是鉴别器网络质量的函数：如果生成器不能欺骗鉴别器，则损失率很高。在训练阶段，鉴别器神经网络和生成器神经网络被顺序训练以提高两者的性能。它的最终目标是获得权重以帮助生成器创建逼真的图像。用户可以使用生成器神经网络从随机噪声中生成高质量的假图像。6.AutoencoderAutoencoder是一种深度学习函数，可以近似从X到X的映射，即输入=输出。他们首先将输入特征压缩成低维表示，然后从该表示重构输出。在许多情况下，这种表示向量可以用作模型特征，因此可以用于降维。自编码器也用于异常检测，在这种情况下，您可以尝试使用自编码器重建一个示例，如果重建损失率过高，您可以预测该示例是异常的。结论神经网络本质上是有史以来最伟大的模型之一，它们对于人们能想到的大多数建模用例都具有很好的概括性。如今，这些不同种类和版本的神经网络正被用于解决医疗、金融和汽车行业面临的各种重要问题，并被苹果、谷歌和Facebook等科技公司用来提供推荐和帮助搜索查询。例如，Google使用基于Transformers的模型BERT来支持其搜索查询。原标题：TypesofNeuralNetworksYouNeedToKnowAbout，作者：KevinVu
