【.comExpress】深度学习的挑战 过去几年证明，深度学习模型的主要组成部分人工神经网络与生物大脑相比效率低下，灵活性和多功能性。 Bengio、Hinton和Leku在论文中提到：虽然在各种任务上都取得了成功，但监督学习需要大量的数据标注，而仅基于奖励的强化学习需要大量的交互。这正是当前机器学习需要突破的地方。 具体来说，监督学习是机器学习中的一种训练方法。通过让机器学习大量带标签的样本数据，训练出一个模型，模型可以根据输入得到相应的输出。简而言之，在训练集中找到一个模式并将该模式??应用于测试样本。可以看出，监督学习对于有大量标记样本的任务非常有用。 强化学习是机器学习的另一种训练方式。机器（代理）以“试错”的方式学习，通过与环境交互获得的奖励来引导行为，旨在使机器选择的行为可获得。环境最大的回报。就像西洋双陆棋棋盘一样简单，机器可以通过在棋盘上连续排列五颗棋子来获得奖励。它就像城市交通环境一样复杂，自动驾驶汽车可以通过避免碰撞、遵守交通规则并到达目的地来获得奖励。 从上图可以看出，这两种机器学习方法都需要大量的劳动。对于监督学习来说，带标签的数据集是非常少见的，尤其是在没有开源数据集的专业领域，因为这往往意味着大量的人力成本和时间用于标签。对于强化学习，需要大量的计算资源进行不断的训练试错，所以只有少数公司和科研机构可以采用这种训练方式。 Bengio、Hinton和Leku在文章中也提到，深度学习能够解决的问题范围还是比较有限的。尽管这些学习方式在某些任务上表现出色，但在他们接受培训的狭窄领域之外，这些系统往往很脆弱。一般来说，一些细微的变化，例如图像像素的微调或环境规则的变化，都会导致深度学习任务误入歧途。 这种限制主要是由于“独立同分布”（I.I.D）假设。从早期开始，机器学习领域的理论家就关注I.I.D假设——测试用例应该与训练用例来自相同的分布。不幸的是，这个假设与现实世界不符。 现实世界的构成因不同因素而不断变化，如果没有因果模型，其中许多因素几乎无法表示。代理必须不断地观察环境和其他代理并从中学习，从而使其行为适应这种变化。事实上，即使是当今最好的AI系统在从实验室转移到生产环境时也常常会遇到问题。 当应用于计算机视觉和自然语言处理等领域时，代理必须处理高熵环境，I.I.D假设变得更加脆弱。目前，许多研究人员和公司试图通过在更多数据上训练神经网络来克服深度学习的局限性，希望更大的数据集覆盖更广泛的分布，从而减少他们在现实世界中失败的机会。 DeepLearningvsHybridAI 人工智能科学家的最终目标是人工通用智能。然而，当今的深度学习系统适应分布变化的鲁棒性与人类相比还差得很远。 Bengio、Hinton和LeCourt在他们的论文中指出，人类和动物主要通过观察来了解很多关于世界的知识。这种常识可以作为帮助人类学习复杂任务的基础，因此人类往往只需要几个例子就可以快速适应类似的变化。 他们认为人类的概括不同于普通的I.I.D：人类正确地解释了现有概念的新组合。即使这些组合在我们的训练分布中以极低的概率出现，只要它们与我们学到的高级句法和语义模式相匹配，我们就可以正确理解。 科学家们提出了各种解决方案，以弥合人工智能与人类智能之间的差距。过去几年被广泛讨论的一种方法是将神经网络与经典符号系统相结合的混合人工智能。符号操作是人类思考世界能力的重要组成部分，也是深度学习系统面临的巨大挑战之一。但Bengio、Hinton和LeCourt不同意。他们不相信适合人工智能的神经网络和混合解决方案。他们认为，更好的神经网络架构最终将覆盖人类和动物智能的所有方面，包括符号操作、推理、因果推理和常识。 新进展 我们应该如何设计未来的机器学习系统以更好地泛化并更快地适应分布外的数据？ 在他们的论文中，Bengio、Hinton和LeCun介绍了深度学习的最新进展。一个例子是变形金刚。这种神经网络架构已经成为很多应用中的主导架构，包括我们比较熟悉的OpenAI的GPT-3和谷歌的Meena等语言模型的核心。Transformer的优点之一是它可以在没有标记数据的情况下进行学习。Transformers可以通过自我监督学习来开发表征，然后在提示时应用这些表征来填充缺失单词的句子或生成连贯的文本。最近，研究人员发现Transformers也可以应用于计算机视觉任务。Transformers结合卷积神经网络可以预测隐藏区域的内容。 一种更有前途的技术是对比学习，它试图找到缺失区域的向量表示，而不是预测准确的像素值。这似乎是一种更接近人类思维的方式。当我们看到像下面这样的图像时，我们可能无法准确描述真实照片的细节，但我们的大脑可以对蒙版区域（例如门、窗等）中可能存在的内容进行高级描述.).这可能更有利于将神经网络中的矢量表示与现实世界的概念相结合。 让神经网络减少对人工标注数据的依赖，这符合Lecourt对自监督学习的研究。 其他要点 今天的深度学习对于感知来说无疑是最成功的，也就是所谓的System1任务。如何使用深度学习来执行System2任务需要仔细的一般步骤。该领域的研究也令人兴奋。 术语“System2深度学习”借用了诺贝尔奖获得者心理学家DanielKahneman的术语。部门连接类别2描述了需要有意识思考的大脑功能，包括符号操作、推理、多步骤计划和解决复杂的数学问题。System2类型的深度学习仍处于早期阶段，但如果它成为现实，它可以解决神经网络的一些关键问题，包括分布外泛化、因果推理、鲁棒迁移学习和符号操作。 另外，“胶囊网络”是Hinton这几年重点研究的领域。胶囊网络的目的是将神经网络从检测图像中的特征升级到检测对象、对象的物理属性以及对象之间的层次关系。胶囊网络可以通过直观的物理学提供深度学习，使人类和动物能够理解三维环境。根据其先驱的说法，深度学习的未来–TechTalkshttps://bdtechtalks.com/2021/07/01/deep-learning-future-bengio-hinton-lecun/?utm_campaign=Artificial%2BIntelligence%2BWeekly&utm_medium=email&utm_source=Artificial4eekIntelligence_2W【翻译稿件，合作网站转载请注明原译者和出处.com】
