看完各种资料，我对神经网络的历史深深着迷。这是一个非常有趣的研究课题，我从中获得了很多乐趣。自上个世纪以来，神经网络和人工智能一直是热门话题。在流行文化电影中，人工智能机器人风靡全球，吸引了大批好奇的人们。受生物神经元启发的神经网络是一种受编程范式启发的模型，它使深度学习模型能够在复杂的观察数据集上高效地学习和训练。在过去的一个世纪里，神经网络经历了不同的阶段，从被视为解决大量复杂计算问题的工具，到被嘲笑为纯粹的理论思想，最后成为更理想未来的创造者。让我们按时间顺序重温一下神经网络历史上的每个阶段。上个世纪，生物学家、神经科学家和研究人员一直在研究神经元的功能。1890年，美国哲学家WilliamJames发展了一个富有洞察力的理论，反映了许多研究人员随后工作的想法。该假设认为，皮层中任何给定点的活动是释放到皮层中的整体运动趋势的总和。简而言之，一个神经元的激发会刺激所有其他神经元，直到信号成功到达其目标。1943年，McCulloch和Pitts开发了第一个单个神经元的数学模型。建立的神经元模型是全面而深远的。这种模式经过改良，甚至在现代也被广泛使用。这给神经网络的研究人员和实践者带来了思维上的巨大转变。一个类似于人脑的神经元模型的数学功能让大多数生物学家感到惊讶，支持人工智能的浪潮和对人工智能接管世界的担忧也在这一刻开始。黄金时代从1949年持续到1969年，在接下来的20年里，我们进行了大量实验。现有的方法论有了很大的发展和扩展，可以说这个时期是神经网络的黄金时代。得益于DonaldHebb在他的书《行为的组织》中引入的Herbie理论，这个时代以一声巨响开始了。Herbie理论指出，电导通过特定突触一个接一个地重复激活一个神经元而增加。几个主题在这个阶段脱颖而出，例如学习过滤器、梯度下降、神经动力学的发展以及大规模大脑活动的触发和传播。对同时激活多个神经元来表示每一位信息进行了广泛的研究。基于香农信息熵原理的信息论已成为该领域的一个重要研究方向。最重要的发明是罗森布拉特在1958年发明的感知器模型。Rosenblatt提出的反向传播方法对于多层网络的训练非常有用。由于广泛的研究和不断的发展，这个时代无疑是神经网络的黄金时代。Taylor构造了一个赢者通吃的电路，在感知器模型中输出单元和其他过程之间存在抑制。20世纪70年代到90年代的飞跃时期，有很多研究和考察的课题，但遗憾的是，这些研究成果都无济于事。有研究将许多神经元组合起来形成一个神经网络，使其比单个神经元更强大，并能进行复杂的计算。由于梯度下降法不能成功地获得复杂任务的理想解，因此发展了其他数学随机、概率或随机方法。在此期间，建立了进一步的理论结果和分析。玻尔兹曼机和混合系统也成功地解决了复杂的计算问题。玻尔兹曼机成功地解决了数学问题。由于硬件和软件的限制，无法实现各种缺陷的解决方案。尽管如此，在此期间，还是进行了大量成功的研究，更新和改进了现有研究。然而，尽管取得了这些进展，神经网络的发展并没有取得重大突破，成果也很少。对人工神经网络的快速增长的需求已经一去不复返了。重要原因之一是证明简单感知器的局限性。Minsky和??Papert在1969年进行了这个演示，展示了简单感知器的缺陷。从理论上证明，简单的感知器模型在计算上不是通用的。那一刻我永远不会忘记，它标志着神经网络的滑铁卢。神经网络领域的研究经费大幅减少，这场运动引发了神经网络的衰落。神经网络失败并瓦解有一段时间，所有与神经网络相关的炒作都消失了。人工神经网络和深度学习一直被嘲笑为一个理论概念，这在很大程度上是由于缺乏数据和先进技术。当时，图像分割、图像分类、人脸识别、基于自然语言处理的聊天机器人等复杂任务的计算资源不足，可用数据也相当有限。对于复杂的神经网络结构，没有足够的数据来提供所需的结果。即使有所需的数据，以当时可用的资源计算出如此庞大的数据量，仍然是一项非常困难的任务。有一些积极的迹象，例如强化学习的成功和其他小的积极因素，但这还不足以重建它曾经的大规模炒作。研究人员和科学家非凡的远见使人工神经网络得到了持续发展。然而，要重新获得失去的声望和知名度还需要20年的时间。神经网络的卷土重来和绝对统治接下来的20年，深度学习的状态和普及度并不乐观。在这个时代，支持向量机（SVM）和其他类似的机器学习算法更占优势，用于解决复杂的任务。机器学习算法在大多数数据集上表现良好，但对于更大的数据集，机器学习算法的性能并没有显着提高。达到某个阈值后，机器学习算法的性能就会停滞不前。随着数据的增加，能够不断学习和改进的模型变得非常重要。2012年，GeorgeE.Dahl带领的团队利用多任务深度神经网络预测药物的生物分子靶点，获得“默克分子活性挑战赛”冠军。2014年，Hochreiter团队利用深度学习技术检测环境化学物质在营养品、家居用品和药品中的脱靶和毒性作用，并获得美国国立卫生研究院、美国食品药品监督管理局(FDA)和NCAT的奖励.Tox21DataChallenge”。目前，神经网络被认为是一场革命性的变革。如今，深度学习和神经网络是所有高水平竞赛的突出特征。卷积神经网络、长短期记忆(LSTM)和生成对抗网络非常受欢迎。特别是深度学习的强化水平每天都在迅速提高，进步巨大。神经网络的旅程值得永远铭记。神经网络和深度学习从一个美好的前景到现在的一个解决几乎任何复杂问题的最佳方法。我很高兴能够在这个时代，能够为这个变化做出贡献。本文转载自微信公众号“读芯”，大家可以关注以下二维码，转载本文请联系芯读公众号。
