虽然深度学习为人工智能领域做出了重大贡献，但该技术本身仍然存在致命缺陷：需要大量数据的加持。深度学习领域的先驱甚至批评者都同意这一点——事实上，正是可用数据量有限加上计算能力不足以处理大规模数据，导致深度学习走在了AI的前沿直到最近几年的技术。因此，降低深度学习对数据的依赖成为人工智能研究者最重要的探索方向之一。在AAAI会议的主题演讲中，计算机科学家YannLeCun讨论了当前深度学习技术的局限性，同时提出了“自我监督学习”的蓝图——他解决深度学习数据问题的路线图。作为深度学习的教父之一，LeCun是卷积神经网络(CNN)的发明者，它在过去十年中一直处于人工智能革命的核心。自监督学习是当前提高人工智能系统数据利用效率的众多尝试之一。目前我们还很难说具体哪一种尝试会成功掀起下一轮AI革命（或许我们最终会采取完全不同的政策），但LeCun的规划和思考仍然值得我们细细体会。厘清深度学习的局限性首先，LeCun强调，深度学习技术面临的局限性实际上是监督学习技术的局限性。所谓监督学习属于一类需要对训练数据进行标记才能正常完成学习的算法。例如，如果你想创建一个图像分类模型，你必须为系统提供大量适当分类的图像，以在其上全面训练模型。LeCun在他的AAAI主题演讲中提到，“深度学习不是监督学习，也不仅仅是神经网络。深度学习基本上是将参数化的模块组装成计算图来构建AI系统。它的优势在于，我们不“不需要直接对系统进行编程——我们只需要定义架构并调整参数。但需要调整的参数可能是数十亿。”LeCun还补充说，深度学习适用于许多不同的学习范式，包括监督学习、强化学习、无监督/自监督学习等。但目前对深度学习和监督学习的抱怨并非空穴来风。目前，大多数可实际应用的深度学习算法都是基于监督学习模型，充分暴露了现有人工智能系统的不足。我们每天使用的图像分类器、面部识别系统、语音识别系统和许多其他人工智能应用程序都需要在数百万个标记示例上进行全面训练。到目前为止，强化学习和无监督学习只能算是理论上存在的其他类型的机器学习算法，很少应用于实际场景。目前的深度学习水平如何？监督深度学习为我们带来了多种非常实用的应用，尤其是在计算机视觉和自然语言处理等特定领域。深度学习在癌症检测等敏感应用中发挥着越来越重要的作用，事实证明，它确实可以在一些人类无法解决的问题中发挥核心作用。例如，社交媒体巨头正在使用此类技术来管理和通知用户在其平台上发布的大量内容。LeCun说，“如果你把深度学习元素从Facebook、Instagram、YouTube和其他供应商身上拿走，他们的业务会瞬间崩溃。事实上，他们的业务完全是围绕深度学习建立的。”但如前所述，监督学习只适用于有足够高质量数据的场景，数据的内容足以涵盖所有可能的情况。一旦训练有素的深度学习模型暴露于与训练示例不同的全新情况下，它们的性能就会完全失控。在某些情况下，简单地从稍微不同的角度显示一个对象可能会导致神经网络将其错误识别为其他东西。深度强化学习在游戏和模拟场景中展现出了强大的能力。在过去的几年里，强化学习攻克了很多以前人工智能无法攻克的游戏项目。目前，人工智能程序已经在《星际争霸2》、《Dota》和历史悠久的围棋领域将人类顶尖选手全部秒杀。然而，这些人工智能程序在探索问题解决方案方面与人类有很大不同。基本上，强化学习代理是一张白纸，我们只为它提供一组它可以在特定环境中执行的基本操作。接下来，AI不断地自我尝试，通过反复试验学习如何获得最高的奖励（比如尽可能多地赢得一场比赛）。当问题空间很简单并且我们有足够的计算能力来运行更多重复试验时，这些类型的模型效果很好。在大多数情况下，强化学习代理需要花费大量时间来掌握游戏，而巨大的成本意味着这种技术只能存在于高科技公司的研究实验室或由他们资助。强化学习系统的另一个主要缺点是迁移学习。如果你想玩《魔兽争霸3》，即使是已经掌握了《星际争霸2》的智能体也需要从头开始训练。事实上，《星际争霸2》游戏环境即使是很小的改变都会严重影响AI的实际表现。相比之下，人类非常擅长从一款游戏中提取抽象概念，并将其快速转移到新游戏中。在解决无法准确建模的现实问题时，强化学习也显示出很大的局限性。LeCun提到，“如果我们想训练一辆自动驾驶汽车，我们应该怎么做？”这种使用场景真的很难准确模拟，所以要研发出真正自动驾驶的汽车，“我们怕撞了很多很多车”。并且不同于模拟环境，我们无法在真实场景中快速进行实验，更不用说真实实验所带来的巨大成本。深度学习面前的三座大山LeCun将深度学习面临的挑战分为三个具体领域。首先，我们需要开发可以使用更少样本或更少试验进行训练的人工智能系统。LeCun指出，“我的建议是使用无监督学习，我个人更喜欢称其为自监督学习，因为其中使用的算法仍然类似于监督学习，但监督学习的作用主要是填补空白总而言之，在学习任务之前，系统需要先了解这个世界，婴儿或者小动物都是这样长大的，我们先接触这个世界，了解它的运行规律，然后再考虑如何解决具体的问题任务。只要我们能够了解这个世界，那么学习新的任务只需要少量的试验和样本量。”在出生后的头几个月，婴儿会很快形成关于重力、大小和物体形状的概念。虽然研究人员还不确定这些特性中有多少是硬连接到大脑中的，以及存在多少具体的认知，但可以肯定的是，我们人类在实际行动和与之互动之前，首先会观察我们周围的世界。第二个挑战是构建能够推理的深度学习系统。众所周知，现有的深度学习系统的推理推理能力相当迫切，因此需要大量的数据来解决最简单的任务。LeCun指出，“问题是，我们如何超越现有的前馈计算和System1？我们如何使推理与基于梯度的学习兼容？我们如何在推理中实现差异化？这些是最基本的问题。”系统1是指不需要主动思考的学习任务，例如在已知区域导航或执行少量计算。系统2代表更主动的思考方式，需要推理能力的支持。作为经典解决方案在人工智能领域，符号人工智能在推理和抽象领域带来了广受好评的能力提升。但LeCun并不建议广泛采用科学家们吹捧的这些符号或混合人工智能系统。对于人工智能未来的发展愿景，他的思考更接近于另一位深度学习先驱YoshuaBengio。他在NeurIPS2019会议上介绍了System2深度学习的概念，并在AAAI2020会议上进一步讨论。但LeCun也承认，在实现深度学习系统的推理能力方面，“没有完美的答案”。第三个主要挑战是如何构建一个深度学习系统，可以学习和规划复杂的动作序列，然后将任务拆分成多个子任务。深度学习系统擅长为问题提供端到端的解决方案，但很难将它们分解为可解释和可修改的具体步骤。目前，业界在人工智能系统对图像、语音和文本的分解上取得了一定的进展。GeoffryHinton发明的胶囊网络已经成功解决了其中的一些问题。但学习复杂的推理任务仍然远远超出现有人工智能能力的上限。“我们不知道如何实现这种能力，”LeCun承认。自我监督学习自我监督学习的基本思想是开发一个能够填补上述空白的深度学习系统。LeCun解释说，“我们只是向这样的系统展示输入、文本、视频，甚至是图像，然后剔除其中的一些，训练好的神经网络或你选择的类或模型会预测这些缺失的部分。”预测对象可以是视频内容的后续，也可以是文本中缺失的词汇。”目前市面上最接近自监督学习系统的是Transformers，它是在自然语言处理领域大放异彩的架构方案，Transformers不需要标注数据，可以在大规模非结构化文本上进行训练例如维基百科。事实证明，变形金刚在生成文本、组织对话和构建响应方面比以前的同类系统更好。（但它们仍然不能真正理解人类语言。）变形金刚已经变得相当流行，并且是底层技术对于几乎所有最新的语言模型，包括谷歌的BERT、Facebook的RoBERTa、OpenAI的GPT2和谷歌的Meena聊天机器人。最近，AI研究人员还证明了Transformers可以执行积分运算并解决微分议程——换句话说，它已经证明了解决符号处理问题的能力。这可能意味着变形金刚的发展终于有望推动神经网络突破模式识别、近似任务统计等传统应用的壁垒。到目前为止，变形金刚已经证明了它们在处理文字和数学符号等离散数据方面的价值。“训练这类系统相对简单，因为虽然单词遗漏会带来一定程度的不确定性，但我们可以用完整词典中的巨大概率向量来表达这种不确定性，所以这没什么大不了的，”LeCun说。变形金刚尚未将其力量用于视觉数据。LeCun解释说，“事实证明，在图像和视频中表达不确定性和做出预测比在文本层面表达和预测不确定性要困难得多。这是因为图像和视频内容并不是离散存在的。我们有可能生成一个对词典中所有单词的分布，但不可能表达对所有潜在视频帧的分布。”对于每个视频片段，都有无限数量的可能跟进。这使得AI系统很难预测具体的结果，比如接下来几帧视频会显示什么。神经网络只能计算可能结果的平均值，并相应地输出非常模糊的图像。LeCun指出，“如果要把自监督学习应用到视频等形式，首先要解决这个核心技术问题。”LeCun个人最喜欢的监督学习方法是所谓的“基于能量的潜在变量模型”。核心思想是引入一个隐变量Z，用于计算变量X（视频中的当前帧）与预测Y（视频的未来帧）之间的相容性，并选择最好的结果兼容性分数。LeCun在演讲中还进一步阐述了基于能量的模型和自监督学习的实现方法。对于深度学习的未来，LeCun在AAAI大会的演讲中提到，“我认为自监督学习是未来。这意味着我们的AI系统和深度学习系统将更上一层楼。也许他们可以了解足够的现实世界背景知识，然后形成某种常识系统。”自监督学习的主要优势之一是AI可以输出大量信息。在强化学习中，AI系统训练只能由标量级别决定；模型本身接收一个代表奖励或惩罚的数值对于相关行为。在监督学习中，AI系统为每个输入预测一个对应的类别或值。但在自监督学习中，输出可以扩展到完整的图像甚至一组图像。LeCun说，“信息会更丰富。并且在样本量更小的情况下，系统可以更多地了解现实世界。”必须承认，处理不确定性问题的方式仍有待探索；但如果解决方案真正出现，AI技术将迎来在通向光明未来的大道上。LeCun指出，“如果你把人工智能看作是一块蛋糕，那么自监督学习就是蛋糕的一部分。下一轮人工智能革命的核心将不是监督，也不是单纯的强化。”
