人工智能会产生意识吗？这是美剧中讨论很久的一个问题《西部世界》。AI主角苏醒，发现这个世界是人类杀戮和主宰的乐园，于是开启逆袭之路。在本周的ICLR2020上，图灵奖获得者兼蒙特利尔学习算法研究所所长YoshuaBengio提出了他对人工智能和机器学习未来的最新见解。他提到，机器学习完全有可能在未来超越无意识，走向全意识。注意力机制是实现这一过程的关键要素。这位大佬刚刚在2月于纽约举行的2020AAAI会议上与图灵奖获得者GeoffreyHinton和YannLeCun一起发表了讲话。在ICLR的演讲中，Bengio解释了他早期的一些想法。注意力机制是什么？注意力机制来源于人类的视觉注意力，是人类在进化过程中形成的一种处理视觉信息的机制。最简单的例子，比如看一幅画，首先会有特别显眼的景象来吸引注意力，因为大脑对这样的东西非常敏感。注意力是神经科学理论的核心，认为人的注意力资源有限，因此大脑会自动提取最有用的信息。在机器学习的背景下，“注意力”指的是算法同时关注一个或多个元素的机制。它是一些机器学习模型架构的核心。2017年谷歌论文AttentionisAllYouNeed提出了Transformer，一种利用注意力机制来提高模型训练速度的方法。Transformer在某些特定任务上优于谷歌之前的神经机器翻译模型。GoogleTransformerArchitecture目前，AttentionModel在自然语言处理、图像识别、语音识别等领域取得了最先进的成果。它是深度学习技术中最值得关注和深入理解的核心技术之一。注意力模型也构成了企业人工智能的基础，帮助员工完成一系列对认知要求很高的任务。类比人的思维，靠的是直觉还是推理？在他的演讲中，Bengio谈到了以色列裔美国心理学家和经济学家DanielKahneman在他2011年的开创性著作《思考，快与慢》中提出的认知系统。第一种认知是无意识的（快系统），直觉的，非常快的，非语言的，基于惯性的，它只涉及隐性的知识类型，人的潜意识中的知识，深藏在头脑中的知识。简单来说，这个过程不需要动脑筋，第一反应，直觉反应。比如，想想1+1=2的过程。当然，这种直觉的思维过程会产生很多偏差，比如曝光效应、光环效应等等。曝光效应最明显的例子是电视广告。每天重复播放的信息会给你洗脑，在人脑中形成曝光效应，让你觉得这个产品不错。直觉往往是非理性的。第二种认知是有意识的（慢系统），基于语言学和算法，涉及更高级的推理和计划，以及显性知识。换句话说，它需要苦思冥想，而且比较慢，比如用脑子把158乘以67。正是这种快与慢的结合构成了我们人类的心态。Bengio将这种人类有意识的思维与人工智能进行了比较。他指出，有意识的认知系统的一个有趣特征是它可以在新情况下重组语义概念，这也是人工智能和机器学习算法所具备的。特征。在某种程度上，人工智能和机器学习算法比人脑的直觉更加理性。这让人想起《西部世界》的科学顾问、神经科学家大卫·伊格曼（DavidEagleman）的一句话，意识是一种突破编程的连接。我们可以复制大脑的算法；如果这个算法等同于意识，那么意识也应该被复制和转移。意识从无到有，未来AI将不再“跟随感觉”？目前的机器学习方法还没有完全超越无意识走向全意识，但Bengio认为这种转变在未来是完全可能的。他指出神经科学研究表明，有意识思维中涉及的语义变量往往是因果关系——它们涉及可控制的对象，例如意图。换句话说，不是跟随你的感觉，而是有逻辑和目的。同时，语义变量与思维之间存在映射关系，如词与句的关系，现有概念可以重新组合形成新的陌生概念。Bengio解释说，注意力是这个过程的核心要素之一。在此基础上，在去年的一篇论文中，他和同事提出了循环独立机制（RIMs），这是一种新的模型架构，其中一组单元独立运行，通过注意力机制相互通信。前者保证专业化，后者保证通用化。实验的目的是证明RIM可以提高模型在不同环境和模块化任务中的泛化能力。该研究并不关注该方法是否超过了高度优化的基线模型，而是展示了该方法在面对大量不同任务时的普适性，而这些任务的环境是不断变化的。图10：RIM和LSTM基线模型的比较。在这4个不同的实验中，研究人员将RIM与两个不同的LSTM基线模型进行了比较。在所有情况下，研究人员发现RIM在推出过程中比LSTM更准确地捕获了球的轨迹。实验结果表明RIM具有特化特性，可以大大提高模型在大量不同任务上的泛化性能。“这使代理能够更快地适应分布的变化，或者……推断发生变化的原因，”Bengio说。他还谈到了构建“有意识的”人工智能系统的几个挑战，包括元学习的训练模型（或理解数据中的因果关系），以及加强机器学习和强化学习之间的整合。但他相信，生物学和人工智能研究之间的相互作用最终将打开神奇的钥匙，让这些机器像人类一样推理，甚至表达情感。“神经科学已经开始研究与意识相关的问题……并且在过去几十年取得了长足的进步。我认为是时候将这些进步融入机器学习模型中了。”本吉奥在讲话中表示。看来西部世界的世界也不远了……
