现代机器智能基于模仿自然——这一领域的主要目标是在计算机中复制人类在生物学上拥有的强大决策能力。三十年来取得了一些伟大的成果，受大脑启发的AI技术的大多数进步都围绕着“神经网络”，这是一个从神经生物学中借用的术语，将机器思维描述为称为“神经元”的神经元。互连数学函数中的数据流。但大自然还有其他好主意：现在计算机科学家又重新踏入生物进化领域，希望通过将生物进化的元素嵌入人工智能，开发出更智能、更高效的算法，就像生物进化已经存在了数十亿年一样。塑造了人类的大脑。但首先，让我们回到我们的中学生物课本。简而言之，进化的概念表达了生物体基因组随机变化的结果，这些变化将为其生存带来优势或劣势。连续的提高。如果一个生物体发生基因突变，使其有机会生存和繁殖，那么该突变就会被传递下去；如果不是，则该突变会随着生物体一起消失。在算法世界中，这被称为神经进化。人工神经网络旨在复制生物体学习单一概念的过程，而神经进化则试图复制大脑构建过程的一部分——即适者生存（强壮或聪明）。尽管神经进化是在1980年代左右提出的，但随着研究人员从机器学习的不同角度审视它，它正在获得新的关注。上个月，谷歌大脑和非营利组织OpenAI各自发表了关于神经进化主题的未经审查的论文，谷歌关于将神经进化原理应用于图像识别的论文，以及OpenAI关于神经进化的论文。使用工作者算法让主算法学习执行任务的最佳方法。将生物进化的思想引入本已复杂的人工智能研究领域可能会让人感到困惑。所以，如果你想解决难题，就把算法想象成马。马一生都在学习，但它们只会在几个不同的指标上进化，比如奔跑速度。图像识别的准确性并不难得，它只是一个数字，马跑一圈所需的时间也是如此。但是，真正让马跑得更快的因素非常复杂——一个基于DNA的庞大网络让马能够长出肌肉、跑得更久，甚至思考。这种复杂性真实反映了算法的基本参数，即图像识别算法的性能究竟如何（或差）。如果您在本文中遇到困难，请深吸一口气并想象一匹马（也是很好的生活建议）。在这项研究中，谷歌团队生成了1,000个图像识别算法，这些算法使用现代深度神经网络进行训练以识别一组特定的图像；然后，这250台计算机每台选择2个算法，通过一个图像识别任务来测试算法的准确率。保留了具有较高准确度的算法，而删除了性能不佳的算法。然后复制保留的算法，并产生稍微改变的克隆算法（或“孩子”），就像人类DNA在出生时随机变化一样。但是这种突变改变了新算法解释训练数据的方式，而不是蓝眼睛或红头发。然后，用于训练父算法的相同数据用于训练克隆算法并将克隆算法放回到1000个算法中并再次开始该过程。谷歌的研究人员通过神经进化培育出了一种准确率为94.6%的算法，并在4次重复实验中取得了相似的结果（虽然不完全相同）。改进算法图像识别技能的突变被保留（即算法幸存），而降低算法性能的突变被移除。就像自然界一样。谷歌进行的五个实验之间的差异也表明了一个长期存在的问题。谷歌研究员、该论文的合著者EstebanReal表示，该算法经常会在运行中途卡住，似乎不确定是继续进化还是停止突变并重新开始。雷尔说，自然界中翅膀的进化就是这样一个比喻：一只翅膀没有多大用处，但一对翅膀可以让你飞翔。现在谷歌的团队正致力于使进化模型更加全面（用于构建一对翅膀）以探索不同的突变。但这有点棘手。该团队只是希望算法以定义的方式发生变异，这样算法就不会以一堆无用的额外代码告终。“最坏的情况是我们得到很多单独的侧翼，”Real解释道。通过主要关注图像识别，谷歌不仅在测试神经进化做生物大脑擅长的事情的能力，而且在测试它解决现代问题的能力。能力。另一方面，OpenAI使用更纯粹的进化形式来承担不同的任务。OpenAI不是为了在一件事上训练成千上万的算法，而是希望使用“工人”算法来训练主算法来完成未知任务，例如玩视频游戏或在3D模拟中执行任务。走进机器。该技术并不是教机器如何做出决策的主要方式，但它是一种教机器更有效地学习特定知识的方式，OpenAI研究员兼该论文的合著者TimSalimans解释说。这种进化算法能够监控工人的学习方式，并从本质上学会学习——即从相同数量的数据中提取更多知识。在这项研究中，OpenAI团队设置了1,440个工作算法来玩Atari游戏。这些工作人员将一直玩到游戏结束，之后工作人员算法会将各自的分数报告给主算法。产生最佳分数的算法被复制（如在谷歌的研究中），复制的版本被随机变异。然后变异的工人继续重复上述过程——有益的突变得到奖励，坏的突变被淘汰。这种方法也有其自身的局限性，最重要的是工作算法只返回一个值（高分）给主算法。得分最高的算法仍然存在，但是让主算法知道任何确定的成功移动将需要大量的计算能力。（它可以比作一个生物蚁群：工蚁出去寻找最佳解决方案，而蚁后是信息中心。）换句话说，OpenAI主要学习成功，很少学习其他点点滴滴。回到20世纪80年代，神经进化和神经网络研究领域的规模差不多。中央加州大学副教授、Uber人工智能团队成员（Uber收购了他共同创立的GeometricIntelligence）的KennethStanley说：“很少有人思考过大脑是如何出现在世界上的，而大脑是自然界中唯一存在智能的。概念证明。一些人认为，创造智能的最直接方法可能是在计算机中创建一个可进化的达尔文过程，使其成为一个小型人工大脑。神经网络始于三位计算机科学家。DavidRumelhart、GeoffreyHinton和RonaldWilliams于1986年发表的一篇论文《Learning representations by back-propagating errors》描述了一种增强网络从错误中学习能力的算法——反向传播。这一研究成果极大地提高了人工设计的神经网络的效率，但其进一步发展受到了即将到来的人工智能寒冬的抑制——人工智能技术缺乏进展导致研究经费被削减。直到Hinton等人后来的论文才出现。使神经网络过于诱人，以至于更广泛的计算机科学界放弃了抵制。他们的研究表明，反向传播允许神经网络实现巨大的增长，这反过来又使此类神经网络能够理解更复杂的概念。此类网络被冠以“深度”——即“深度神经网络（deepneuralnetworks）”的称号，并已发展成为当前最先进的人工智能技术。“因此，对于类似于大脑进化的神经进化路线，存在一点点缺乏理解，”斯坦利说。2002年，在他职业生涯的开始，Stanley编写了NEAT算法，该算法允许神经网络随着时间的推移演变成更大、更复杂的版本。根据谷歌学术，他的通讯论文《Evolving neural networks through augmenting topologies》被引用至少1600次，自发表以来，一直被深度神经网络设计和神经进化研究不断引用。2006年，Stanley发表了Hyper-NEAT，这是一种更大规模的神经进化算法，其灵感来自DNA的编码能力——只需要大约30,000个基因就可以编码数万亿个相连的生物神经元。（Hyper-NEAT的全称是Hybercube-basedNeuroEvolutionofAugmentingTopologies。）今天，Stanley表示很高兴看到他的研究回归成为时代潮流。与Stanley一样，OpenAI和谷歌正在研究该领域的两种不同想法。谷歌的混合方法结合了经典的神经进化和反向传播等技术，实现了现在非常强大的深度学习：教算法如何在世界上行动，让它进化，算法的“孩子”将拥有大部分积累的知识。OpenAI的方法更类似于生物的进化方式。该团队只允许每一代中的随机突变来决定网络如何改进或失败，这意味着它的改进完全是通过随机进化产生的。这两项研究都有非常具体的目标——识别图像或在游戏中得分高（即使马跑得更快）。算法将如何实现其目标取决于自然。下面是谷歌和OpenAI的两项研究的摘要介绍：谷歌论文：Large-ScaleEvolutionofImageClassifiers链接：https://arxiv.org/abs/1703.01041神经网络已被证明可以有效解决困难问题，但它们的架构可能很难设计，即使只是针对单独的图像分类问题。进化算法是一种可用于自动发现这些网络的技术。尽管进化模型的计算要求很高，但我们的研究表明，如今已经可以使用进化模型来实现可与大型人类设计相媲美的架构。我们使用最先进规模的简单进化技术来发现CIFAR-10和CIFAR-100数据集的模型，从微不足道的初始条件开始。为了实现我们的目标，我们使用了一种新的、直观的变异算子，它可以在一个大的搜索空间中找到方向。我们要强调的是：一旦开始进化，就不再需要人类参与，然后会输出一个完全训练好的模型。在这项研究中，我们特别强调了结果的可重复性、输出结果的可变性和计算要求。OpenAI论文：EvolutionStrategiesasaScalableAlternativetoReinforcementLearning链接：https://arxiv.org/abs/1703.03864我们探索了进化策略（EvolutionStrategies/ES）的使用，这是一类黑盒优化算法，可以可用作流行的强化学习方法（如Q学习和策略梯度）的替代方法。在MuJoCo和Atari上的实验表明，ES是一个可行的解决方案，可以很好地扩展到多个可用的CPU：通过使用成百上千个并行工作器，ES可以在10分钟内解决3D人形行走问题，并在大多数Atari游戏上取得有竞争力的结果经过一个小时的训练。此外，我们强调了ES作为黑盒优化技术的几个优点：动作频率和延迟奖励不影响它，可以容忍很长时间，不需要时间折扣或价值函数近似（valuefunctionapproximation）。【本文为栏目组织《机器之心》、微信公众号《机器之心（id：almosthuman2014）》原创翻译】点此查看作者更多好文
