YannLeCun曾在演讲中展示法国大革命的一幅名画《自由引导人民》，并写道：“这场革命将是无人监督的（THEREVOLUTIONWILLNOTBE受监督）”。LeCun认为，当人工智能系统不再需要监督学习时，下一次人工智能革命就会到来。届时，这些系统将不再依赖仔细标记的数据集。他说，人工智能系统需要在尽可能少的人类帮助下进行学习。在最近接受IEEESpectrum采访时，他谈到了自我监督学习如何创建具有常识的强大人工智能系统。同时，他也对最近一些社区言论发表了自己的看法，比如吴恩达鼓吹“以数据为中心的AI”，OpenAI首席科学家IlyaSutskever猜测当前的AI可能是有意识的。以下是采访内容：Q：您曾经说过监督学习的局限性有时会被误认为是深度学习本身的局限性，那么哪些局限性可以通过自监督学习来克服A：监督学习非常适合清晰的边界域，您可以在其中收集大量标记数据，并且模型在部署期间看到的输入类型与训练它的输入类型没有太大区别。收集大量无偏见的标记数据非常困难。这里的偏见不一定是指社会偏见，而是可以理解为系统不应该使用的数据之间的相关性。例如，当你在训练一个识别牛的系统时，所有样本都是草地上的牛，那么系统将使用草作为识别牛的上下文线索。那样的话，如果你给它一张海滩上的牛的照片，它可能就认不出来了。自监督学习(SSL)允许系统以与任务无关的方式学习输入的良好表示。因为SSL训练使用未标记的数据，我们可以使用非常大的训练集，让系统学习更稳健和完整的输入表示。然后，使用少量标记数据，它可以在监督任务上取得良好的性能。这大大减少了纯监督学习所需的标记数据量，并使系统更加健壮，能够处理与标记训练样本不同的输入。有时，它还降低了系统对数据偏差的敏感性。在实用AI系统的方向上，我们正朝着使用SSL对大量未标记数据进行预训练的更大架构迈进。这些系统可用于多种任务，例如用单个神经网络处理数百种语言的翻译、构建多语言语音识别系统等。这些系统可以处理难以获取数据的语言。问：其他领导者表示，AI的前进方向是通过更好的数据标记来改进监督学习。AndrewNg最近谈到了以数据为中心的AI，Nvidia的RevLebaredian谈到了带有所有标签的合成数据。业界对人工智能的发展路径是否存在分歧？A：我认为没有思想上的差异。在NLP中，SSL预训练是非常标准的做法。它在语音识别方面表现出显着的性能提升，并且在视觉方面也越来越有用。然而，“经典”监督学习仍有许多未开发的应用，因此只要有可能，一定要在监督学习中使用合成数据。尽管如此，Nvidia仍在积极开发SSL。早在2000年，GeoffHinton、YoshuaBengio和我就坚信，训练更大、更深的神经网络的唯一方法是通过自我监督（或无监督）学习。也是从这个时候开始，吴恩达对深度学习产生了兴趣。他当时的工作也集中在我们现在所说的自我监督上。Q：你如何基于自监督学习构建具有常识的人工智能系统？常识能带我们走多远来构建人类水平的智能？A：我认为，一旦我们弄清楚如何让机器像人类和动物一样学习世界的运作方式，人工智能势必会取得重大进展。因此，人工智能必须学会观察世界并在其中采取行动。人类理解世界是如何运作的，因为我们已经学会了世界的内部模型，它使我们能够填补缺失的信息，预测将要发生的事情，并预测我们行为的影响。我们的世界模型使我们能够感知、解释、推理、提前计划和行动。那么问题来了：机器是如何学习世界模型的？这可以分解为两个问题：第一，我们应该用什么学习范式来训练世界模型？第二，世界模型应该使用什么架构？对于第一个问题，我的回答是自监督学习（SSL）。例如，让机器观看视频，暂停视频，然后让机器学习视频中接下来发生的事情的表征。在这个过程中，机器可以学习大量关于世界如何运作的背景知识，这可能类似于婴儿和动物在生命最初几周或几个月的学习方式。对于第二个问题，我的回答是一种新型的深度宏观架构，我称之为HierarchicalJointEmbeddingPredictionArchitecture(H-JEPA)。这里很难详细解释。以上述预测视频为例，JEPA不是预测视频片段的未来帧，而是学习视频片段的抽象表示和未来，以便它可以根据对前者的理解轻松预测后者。这可以使用非对比SSL方法的一些最新进展来实现，特别是我们最近提出的一种称为VICReg的方法。问：几周前，您回复了OpenAI首席科学家IlyaSutskever的一条推文。他推测，今天的大型神经网络可能有一些意识，然后你可以直接忽略它。那么在您看来，构建有意识的神经网络需要什么？有意识的系统会是什么样子？A：首先，意识是一个很模糊的概念。一些哲学家、神经科学家和认知科学家认为这只是一种错觉，我完全同意这一点。我对意识幻觉有一个猜测。我的假设是我们大脑的前额叶皮层中有一个世界模型“引擎”。世界模型可以根据所面临的实际情况进行配置。例如，帆船的舵手使用世界模型来模拟船周围的空气和水流；另一个例子是如果我们要搭建一张木头桌子，世界模型会想象切割木头并组装它们的结果......我们需要一个模块，我称之为配置器，为我们设定目标和子目标，配置我们的世界模型来模拟当下的实际情况，并激活我们的感知系统来提取相关信息并丢弃其余信息。监督配置器的存在可能是造成我们意识错觉的原因。但有趣的是：我们需要这个配置器，因为我们只有一个世界模型引擎。如果我们的大脑大到足以容纳许多世界模型，我们就不需要意识了。所以，从这个意义上说，意识是我们大脑局限的结果！问：自我监督学习在元宇宙中扮演什么角色？A：深度学习在metaverse中有很多具体的应用，比如使用Motiontracking，捕捉合成肢体动作和面部表情，用于VR和AR。由人工智能驱动的新创新工具提供了广阔的创作空间，让每个人都可以在元宇宙和现实世界中创造新事物。但元界还有一个“AI-complete”的应用：虚拟AI助手。我们应该有虚拟人工智能助手来协助我们的日常生活，回答我们的任何问题，帮助我们处理日常信息的泛滥。为此，人工智能系统需要对世界（包括物理世界和元宇宙的虚拟世界）的运作方式有一定的了解，具有一定的推理和计划能力，以及一定程度的常识。简而言之，我们需要弄清楚如何构建可以像人类一样学习的自主人工智能系统。这需要时间，Meta已经为此准备了很长时间。原文链接：https://spectrum.ieee.org/yann-lecun-ai
