这篇文章主要讲neuroevolution作为深度学习的未来，以及如何用进化计算（EC）来优化深度学习（DL）。在过去的几年里，我们有一整个团队致力于人工智能的研究和实验。该团队专注于开发进化计算(EC)的新方法，包括设计人工神经网络架构、构建商业应用程序以及使用受自然进化启发的方法来解决具有挑战性的计算问题。这方面的势头非常强劲。我们相信进化计算很可能成为人工智能技术的下一个重大课题。EC与深度学习(DL)一样，是几十年前引入的，EC也可以从可用的计算和大数据中得到改进。然而，它解决了一个非常不同的需求：我们都知道DL侧重于对我们已知的东西进行建模，而EC侧重于创造新知识。从这个意义上说，它是DL的下一步：DL能够识别熟悉类别中的对象和语音，而EC使我们能够发现全新的对象和行为——那些最大化特定目标的对象和行为。因此，EC实现了许多新的应用：为机器人和虚拟代理设计更有效的行为，创建更有效且成本更低的健康干预措施，促进农业机械化和生物过程。不久前，我们发表了5篇报告该领域取得重大进展的论文，报告主要集中在三个方面：（1）DL架构在三个标准机器学习基准上达到了最先进的水平。(2)开发技术以提高实际应用开发的性能和可靠性。(3)在非常困难的计算问题上证明了进化问题的解决方案。本文将重点关注内部的第一个领域，即使用EC优化DL架构。Sentient揭示了神经进化方面的突破性研究。许多深度学习取决于网络规模和复杂性。借助神经进化，深度学习架构（即网络拓扑、模块和超参数）的优化可以超越人类的能力。我们将在本文中介绍三个示例：OmniDraw、CelebMatch和MusicMaker（语言建模）。在所有三个示例中，Sentient使用神经进化成功地超越了最先进的DL基准。音乐制作（语言建模）在语言建模领域，系统被训练来预测“语言库”中的下一个单词，例如《华尔街日报》几年来的大量文本集合。网络做出预测后，输入也可以循环遍历，这样网络就可以生成完整的单词序列。有趣的是，同样的技术适用于音乐序列，如下所示。用户输入一些初始音符，系统会根据该起点即兴创作完整的旋律。通过神经元进化，Sentient优化了门控循环（长短期记忆或LSTM）节点（网络的“记忆”结构）的设计，使模型在预测下一个音符时更加准确。在语言建模领域（预测称为PennTreeBank的语言语料库中的下一个单词），基准由困惑点定义，它衡量概率模型预测真实样本的程度。当然，数字越低越好，因为我们希望模型在预测下一个单词时尽可能少地“混淆”。在这种情况下，感知器以10.8个困惑点击败标准LSTM结构。值得注意的是，在过去的25年里，尽管人类设计了一些LSTM变体，但LSTM的性能仍然没有提高。事实上，我们的神经进化实验表明，LSTM可以通过增加复杂性（即记忆单元和更多非线性并行路径）来显着提高性能。为什么这个突破很重要？语言是人类强大而复杂的智力结构。语言建模或预测文本中的下一个单词是机器学习方法学习语言结构的基准。因此，它是构建自然语言处理系统的代理，包括语音和语言接口、机器翻译，甚至是DNA序列和心率诊断等医学数据。我们可以在语言建模基准方面做得更好，并使用相同的技术来构建更好的语言处理系统。OmniDrawOmniglot是一个手写字符识别基准，可以识别来自50种不同字母表的字符，包括西里尔字母（书面俄语）、日语和希伯来语等真实语言，以及Tengwar（《指环王》的书面语言）人工语音。上面的例子展示了多任务学习，其中模型可以同时学习所有语言并利用不同语言中字符之间的关系。例如，用户输入一张图片，系统根据匹配输出不同语言的含义，“ThiswillbeXinLatin,YinJapanese,ZinTengwar,etc”——利用日文之间的关系，Tengwar和Latin找出最匹配的角色。这与单任务学习环境不同，在单任务学习环境中，模型只接受一种语言的训练，无法在语言数据集上建立相同的联系。虽然Omniglot是数据集的一个示例，但每种语言的数据相对较少。例如，它可能只有几个希腊字母，但很多都是日语。它能够利用语言之间关系的知识来寻找解决方案。为什么这很重要？对于许多实际应用来说，标记数据的获取非常昂贵或危险（例如医疗应用、农业和机器人救援），因此可以自动设计利用与相似或相关数据集之间关系的模型，在一定程度上可以替代缺失数据集并提高研究能力。这也很好地展示了神经进化的力量：语言可以通过多种方式关联，而进化发现了将它们的学习结合起来的最佳方式。CelebMatchCelebMatch的demo同样适用于多任务学习，但是它使用了大规模的数据集。该演示基于CelebA数据集，该数据集由大约200,000张名人图像组成，每张图像都带有40个二进制标签属性，例如“男性和女性”、“有无胡须”等。每个属性都会生成一个“分类任务”，引导系统检测和识别每个属性。作为一个有趣的附加组件，我们创建了一个演示来完成这项任务：用户可以为每个属性设置所需的度数，系统根据进化的多任务学习网络确定最接近的名人。例如，如果当前图片是布拉德皮特的形象，则用户可以添加“灰发”属性，找到与他相似但头发不同的明星。在CelebA多任务人脸分类领域，Sentient利用进化计算对这些检测属性的网络进行优化，成功将三个模型的整体误差从8%降低到7.94%。这项技术使人工智能在预测人、地点和物理世界的各种属性的能力方面向前迈进了一大步。与学习特征以基于抽象寻找相似性的训练网络不同，它还支持相似的语义和可解释性。原文：https://www.sentient.ai/blog/evolution-is-the-new-deep-learning/?spm=a2c4e.11153959.blogcont554768.14.7c4f381flMPfCF
