深度学习初现身时，大多数AI研究者对其嗤之以鼻，但短短几年，它的触角已经遍及医疗、教育、汽车等诸多领域。近年来，在深度学习的加持下，AI在人脸识别、围棋、Dota等任务中屡屡击败人类。这一趋势似乎暗示，深度学习是开启人工智能宝藏的钥匙。但也有观点认为，目前的深度学习已经走到了死胡同。例如，全球人工智能计算机视觉领域的奠基人之一约翰霍普金斯大学教授AlanYule就曾提出“深度学习在计算机视觉领域的瓶颈不得不去”的观点。本文作者RandyLaybourne支持Yule教授的观点，列举了20条理由，一一讨论深度学习的研究，走到了死胡同。AI技术解说已删减，敬请欣赏~1.反向传播技术只适用于狭义AI。反向传播是深度学习的基础技术，它使神经网络在训练过程中能够找到“最优解”。但是如果让训练好的神经网络去执行另一个任务或者使用新的数据，就会发生灾难性的遗忘，从而无法达到持续学习的目的。当然，你可以减少之前的学习任务，调整网络结构来解决灾难性遗忘，但是如果有新的数据涌入，就必须增加神经元的数量。大脑的神经元比我们手工设计的神经网络还要多，所以你会认为在人工神经网络中加入更多的神经元是没有问题的，对吧？但你也需要明白，大脑具有功能模块化的特点。在执行任务时，一次只调用少量神经元。反向传播在迭代时调用所有神经元。另外，大脑的模块化使得我们人类可以学习不同的东西，不同模块之间的信息可以相互交流。那么构建多个深度神经网络并将它们相互连接是否可以解决问题呢？显然，高级智能的作用远不止这些。2.无监督学习大脑在学习的时候，不需要大量的例子，也不需要监督者在一旁“讲述”。大脑的学习方式更为复杂，比如一些“数据”即使没有标注，大脑也能从中学到一些东西。当然，我们不是在模仿翅膀的动作来制造飞行机器，而是鸟类已经证明，比空气重的物体在克服重力的情况下也能飞起来，也就是说，即使一般的人工智能不具备与空气相同的思维方式一个大脑，它可以通过无监督学习获得智能。3.认知地图和路线目前深度学习要掌握的更多的是认知路线，即从输入数据到输出的认知路径。也就是说，深度学习是输入和输出之间的联想记忆。表单。考虑以下认知路线的情况：“直行穿过森林，看到一条河流，然后穿过小溪，左转，停在一棵奇怪的树附近，到达一座山顶上有三块大石头，最后沿着路走”现在的问题是，如果有人砍了树或者搬了石头怎么办？这就是深度学习的缺点：知识的应用范围很窄，只适用于一个任务。解决方案是创建一个动态地图，即找到从不同起点到无限终点的多条路线。这就是狭义人工智能和一般人工智能的区别，这种区别深深地影响了神经网络的结构。4.预测过程我们的大脑总是试图主动预测将要发生的事情接下来几秒，根据实际情况调整预测细节。这就是为什么人类有很强的好奇心心智模型图-人类在面对未知的时候总想找到一个满意的解释，否则不会停下来。所以这种预测过程可以节省我们的精力，而且它还可以激励我们变得越来越好，扩展我们的知识和技能，完善我们的知识和技能认知图谱。这意味着预测处理是我们直觉的来源。显然，深度学习缺乏这样的预测。5.资源的高效利用没有人能否认谷歌TPU缺乏能量。我们的大脑在处理问题的时候，会尽可能多的对很多事情说“不”。具体来说，大脑在处理连续不断的数据流时，会通过一层过滤装置，过滤掉无用的信息，将重要的信息传送到大脑皮层。当在无意识状态下处理事物的结果足够好时，大脑不会切换该状态。当有重要任务要做时，大脑会在默认状态下关闭一些大型网络神经元，然后开启中央执行网络。据研究，大脑大约有8.6至1000亿个神经元，其中大部分密集分布在小脑中，小脑主要负责人体的各种活动。如前所述，大脑会选择性地关闭或开启某些神经元，而深度学习在每次迭代中都会使用所有神经元，这也是为什么我们至今没有设计出如此规模的神经元。此外，深度学习的能源效率非常低，即使是最强大的处理器也无法与仅以10-40Hz运行的大脑竞争。6.多感官数据表示目前，语音是人工智能最难的骨骼。虽然我们可以用人工智能设计出优秀的文本生成系统，但我们也可以为人类写出优秀的文本。但是这个文本生成系统背后有“理解”吗？或者它只是单词之间的统计关系。在孩子学习语言之前，他们已经接受了许多感官刺激。孩子接触到的每一个意义特征都不是某个数据集中的相邻词，而是一个丰富的体验集，包括视觉、听觉、嗅觉、味觉、触觉、情感等等。然后，根据这些特征，我们给它贴上正确的标签，教孩子吃饭、上厕所等等。此外，即使我们不知道某些“事物”的确切名称，我们也可以根据未知对象的属性与已知类的相似程度对未知对象进行分类。例如，声音可以很容易地唤起情绪反应，气味可以唤起记忆。显然，目前的深度学习神经网络仅具备强大的个体处理功能，无法匹配相似连接。7、如何向拥有丰富经验的AI解释世界，让AI通过静止图像或文本数据集来理解它所生活的世界，而不管语境和背景？假设我们永远不知道“重力”是什么，那么我们应该如何教AI？如果我们想要具有类似人类能力的机器，我们必须认识到至少我们的身体和大脑是生物机器。人脑从无色、无声、无味的原子中渲染世界，并“解释”传入信号的代码，同时创建一个我们可以理解的现实模型。只有到那时我们才会知道，当我们把东西丢在地球上时，它就会掉下来。但是在数字地图上向下移动的点不受重力影响。显然数字世界和物理世界的规则是非常不同的。深度学习能教AI理解这个8.连续的立体数据流我们的身体大致对称，我们有眼睛、耳朵、手、腿和两个大脑半球。这有助于我们以新的方式感知世界并与之互动。立体视觉帮助我们测量视觉场景的深度，声音帮助我们定位视觉来源，大脑的二元性帮助我们应对不同的心智能力……同时，大脑的持续功能让我们确信前一秒还是你朋友的人，还是同一个人，不需要再用视觉或听觉属性来确认。大脑会主动预测正在发生的事情，从而节省能量、增强信心并实时学习。深度学习目前显然遥不可及。9.人脑语义空间的非随机初始化人工神经网络的初始化是随机的，我们使用基于梯度的方法来训练网络，并使其在所有值都相同时分解网络.可以优化神经网络并强制执行其初始化方法。但需要注意的是，这在监督环境中是可以实现的，很明显，随机初始化可能是在现实世界中大规模部署自主AI的最佳选择。在这种情况下，无论时间地点如何，我们最好的想法就是让AI以类似的方式完成适配过程。10.情绪状态作为一种普遍的评价系统我们可能认为情绪是人类独有的，甚至比硬逻辑还差。但作为人体内的通用评价系统，我们可以通过情绪快速评价自己的状态：是精神饱满还是喜悦，抑或是极度抑郁的压抑状态。每当我们做出决定时，都是基于我们自己的感受。尽管我们必须长时间认真地考虑评估不同的选择，但最终，我们会选择对我们来说“感觉”最好的那个。我们曾尝试用强化学习来模拟人类的情绪，但只迈出了一小步。情绪可以量化，因为它们由不同水平的神经化学物质组成，例如血清素、多巴胺、肾上腺素等。我们的反应是想要战斗或航行，因为多巴胺很高，刺激我们快速执行一系列动作。当去甲肾上腺素低时，我们会感到恐惧并试图逃跑；当去甲肾上腺素很高时，我们会找到战斗的勇气，或者当它极高时，我们会感到愤怒或强烈的疯狂情绪。11.数字神经调节器数字神经调节器可以让自主人工智能以与神经调节器相同的方式打开和关闭大规模神经子网络。在人脑中，高水平的神经调节剂乙酰胆碱会增加与记忆、内部定向认知、思考和推理相关的神经元活动。另一方面，多巴胺增加了外部认知的重要性，并更快地选择足够好的行动。Orexin调节能量，当我们清醒时会增加，而当我们睡着或处于免疫反应时会减少。当自动机器人等设备无法连接到电源时，数字化食欲素有助于实现出色的能量消耗。人体利用化学物质自动进行自我调节，我认为人工智能在这方面也有巨大的潜力。12、人工直觉深度学习本身其实只是一种处理数据的方法，一种从输入到输出非常被动的方法。而人类也赋予了深度学习一种非常强大的能力，那就是直觉。在深度学习中，当所有条件都匹配的时候，网络中的神经单元会提前被激活，但是最后会不会对现实产生一些影响，我们还不知道，只是感觉会有一些影响。同样的机制在人类意识中比比皆是：想法不知从哪里冒出来，但你的大脑认为它们对未来有用。直觉可以帮助我们提前计划并使数据处理更容易。例如，在深度学习中，如果上下文正确，则可以降低物体或声音识别的阈值以简化过程。有时直觉会导致我们犯错误，例如，我们可能会误认朋友或听到别人实际上没有说的话。但大多数时候，我们凭借直觉节省了大量的精力，甚至因为潜在危险的预警而挽救了无数的生命。13.隐藏的大脑：神经胶质细胞多年来，神经胶质细胞一直被视为大脑中的填充物，但实际上它们对大脑的工作方式有着巨大的影响。人类的神经胶质细胞比神经元多，它们支持神经元部分，提供营养并通过触发免疫反应来处理废物和有毒代谢衍生物等外部危险。然而，目前的人工神经网络并没有认真对待神经胶质细胞。然而，它们实际上控制着神经元。除了维持神经元外，它们还影响神经元的尖峰。如果应用于深度学习，他们或许还能计算出数据预测的误差。星形胶质细胞不是短期电刺激，而是长期化学刺激。它们可以在全球范围内相互交互，不仅在需要更多资源的地方提供资源，还可以改善整个系统的运行。14.皮层下成分当前的人工神经网络不仅忽略了星形胶质细胞，还忽略了皮层下成分。在处理数据时，人脑除了新皮质外，还有大量其他模块支持，如丘脑、海马体、纹状体、杏仁核等。它们都在大脑中发挥着非常重要的作用。没有海马体和内嗅皮质，我们就没有记忆，也很难在物理空间中定位自己。丘脑过滤数据并将其传送到大脑的正确部分。纹状体和杏仁核调节对输入数据的反应。屏状核也是大脑中一个非常有趣的部分。科学家们发现，当受到电刺激时，它会充当意识的“开关”。相关阅读：https://www.newscientist.com/article/mg22329762-700-consciousness-on-off-switch-discovered-deep-in-brain/15。因果推理人类强大的能力之一就是因果推理。我们可以进行心理模拟——想象或回忆整个过程的步骤——在我们的脑海中找出结果的可能原因。而相关性并不意味着因果关系，正如一句名言所说：仅仅使用统计数据是不够的，我们还需要使用关系、丰富的上下文信息和多感官体验。16.心理模拟器文章开头提到，人脑实际上是从无色、无味、无声的原子中呈现真实世界。那是因为它非常擅长这个演示，而且还能够模拟从未发生过的事情。这就是我们存在想象力和梦想的原因。它可以让我们在现实世界中毫无损失地体验和学习。这种心理模拟器也是有意识体验的基础。人类创造了许多只存在于我们头脑中的抽象事物。在我们真正发明某些东西之前，我们会在脑海中想象它。这也是人类比其他生物具有更好优势的进化之源。在未来的通用人工智能框架中，我们需要用到心理模拟器！训练神经网络的方法恰恰相反。这种方法可以让机器时刻学习新事物，不断更新已有的知识来提升自己。当然，我们总是可以用新数据重新训练模型，但这会降低资源效率，而且训练具有更大神经架构的模型一直存在问题。直觉上，虽然增量学习会导致所谓的过度拟合，但已经有很多技术可以解决这个问题。此外，将足够的数据增量地添加到内存中的增量学习方法要简单得多。人不是万物的主人，我们善于处理自己有足够经验的事情，我们可以随时更新心智模型，选择更好的解决方案。18.终极算法我认为我们可以找到终极算法，解开推动人工智能发展的钥匙。到那时，数据处理会有所不同，所谓的超参数会因情况而异，但整个人工皮层的算法可能是相同的，它们决定哪些是高度相关的，哪些不是。性欲低下，哪些需要记住，哪些应该摒弃。并且，哪些应该记录为负面案例。19.硬件：专用处理单元CPU等通用处理单元的效率不如专用处理单元。为了达到复杂认知结构所需的效率，处理单元需要足够的并行性。由于有很多抽象层，当计算机执行某些任务时，如图形用户界面、框架和开发库、操作系统、机器代码的编程语言等，处理单元会在这些抽象层之间切换。此外，这样做非常耗时。将其乘以每秒数十亿次操作，您就可以相当完整地了解处理单元正在做什么。编程语言有助于原型设计和实验，使解决方案能够适应我们的需求。但是编程语言的重要部分需要在处理单元中执行，例如每个CPU中的算术逻辑单元。我们需要在硬件中实现关键算法，现在很多公司已经开始尝试实现这一点，但是他们尝试的方向是否正确？20、自组装还是人工搭建？大脑非常复杂，人类还没有能够完全理解它。了解人脑。不仅如此，许多关于大脑结构的研究结果仍然相互矛盾。我们不能仅仅依靠神经科学来发展通用人工智能。但是我们可以了解大脑的高级功能，比如这些功能可以做什么，它们或多或少是如何做到的。由于大脑是一个自我组装的处理单元，它会根据自身生理和心理的需要和局限性来做各种事情。许多观察到的行为或特性与结构实际需要发挥作用和生存有关，而不是因为它需要达到更高的智能水平。在神经科学、计算机科学和数学之间取得适当的平衡可以帮助我们最终开发出具有类人能力的机器。总结所有这些技术都取得了长足的进步，尤其是在最近几年。很容易忘记，与人类未来将取得的成就相比，我们仍处于人工智能的“石器时代”。计算时代才刚刚开始，改变当前AI发展的视角，将为我们带来更广阔的视野。通常，将我们带到未来某个地方的事物与将我们再次向前迈出一大步的事物是不同的。当某人做的事情与其他人略有不同时，人类的进化往往会实现巨大的飞跃，从而扩大人类的视野。同样的，我认为当我们以尽可能不同的方式进行人工智能研究时，我们最终可以在人工智能领域取得长足的进步。
