人类的智能，包括意识、认知、决策等，从人类被记载的那一刻起，似乎就吸引了无数哲学家的思考。同样，从人工智能诞生的那一刻起，科学家们就在期待：人工智能如何才能达到与人类一样的智能？近日，LSTM的提出者和创始人、奥地利人工智能高等研究院（IARAI）创始人、IEEECIS2021神经网络先驱奖（NeuralNetworksPioneerAward）获得者SeppHochreiter教授给出了一个《ACM通讯》上的演讲针对目前的AI智能水平发表了自己的看法。SeppHochreiter指出，目前人工智能的发展方向是针对广义人工智能（BroadAI）。他强调，双边人工智能（bilateralAI）将以往基于逻辑的符号人工智能与现有的基于数据的神经人工智能相结合，是最有希望实现广义人工智能的方式。1现有神经网络的不足深度神经网络是目前人工智能的主流实现方式。虽然它可以取得惊人的性能，但与人类智能相比，它仍然存在许多缺陷。Hochreiter教授引用了纽约大学认知科学家GaryMarcus的话，他曾批评过神经网络。他认为：（1）神经网络极度需要数据；(2)迁移能力有限，无法有效迁移到新任务或(3)世界知识或先验知识无法充分融合。因此，Hochreiter教授警告说，决策者对这些模型在真实数据应用领域的有效性存有疑虑，因为真实场景中的数据总是在变化、嘈杂，甚至稀缺。事实上，深度学习技术的应用还局限在医疗、航空、无人驾驶等需求量大但安全性和可解释性又是一大考量的领域。2“BroadAI”尽管如此，Hochreiter教授也指出，当前的AI已经在努力克服这些缺陷，并将“BroadAI”（广义AI）作为当前AI的新目标。广义人工智能是什么样的系统？它不同于现有的专门为特定任务设计的狭义AI（narrowAI），更强调技能获取和问题解决（skillacquisitionandproblemsolving）。这个观点来自Google和Keras的作者Fran?oisChollet在一篇论文中提到的智能定义。Chollet认为，处于智能第二阶梯（下图）的广义AI应该具有以下重要特征：知识传递和交互、鲁棒性、抽象和推理能力以及高效率。广义人工智能充分利用感官知觉、过去的经验和学到的技能来成功执行不同的任务。图注：不同层次AI对应的能力Hochreiter教授认为，现有的架构、网络或方法在一定程度上满足了BroadAI的要求。他引用了使用对比学习的自我监督训练来证明可迁移性；利用背景和以往经验的现代Hopfield网络；以及融合知识和推理的神经符号计算模型。3Transferability现有的能够有效提高网络可迁移性的模型学习方法是小样本学习。它只用少量的训练数据就取得了很好的性能。这是由于其现有的“先验知识”或“经验”。这些先验知识通常受益于预训练任务——包括大规模数据和基础模型。而这些数据往往是通过比较学习和自监督训练提取有用的表征。一旦预训练模型被学习到，在任务上获得的后验知识就成为下游新任务的先验知识，使得模型能够很好地迁移到新的情况、客户、产品、流程、数据等。Hochreiter教授特别提到了视觉语言跨模态领域的对比学习预训练方法-CLIP。CLIP是OpenAI去年发表在ICML上的作品。它使用一个简单的预训练任务，即图像文本匹配，通过对比学习来学习更强大的图像表示。该任务使用从互联网收集的4000万个图像文本对进行训练。图注：CLIP使用图文匹配进行训练。意料之中的惊喜是，它在无需任何数据训练的情况下，在30多项计算机视觉任务上都能达到与之前的全监督方法相当的性能，取得了优异的性能。“零样本学习”。而正如Hochreiter教授所称赞的那样，这种高度的移动性和鲁棒性是具有真实数据的行业所青睐的特性。事实上，自从CLIP发明以来，很多后续的迁移学习工作都是基于CLIP进行的。毫不夸张地说，它绝对是统一视觉语言不可或缺的一部分，有点类似于NLP任务的Bert。许多流行的Prompt学习方法也是借鉴了CLIP，或者是在CLIP的框架下。4利用经验广义人工智能还应该充分利用上下文和以前的经验，这与记忆密切相关。也许Hochreiter教授在这一点上有很好的发言权。毕竟，他是长短期记忆网络的发明者之一。在认知科学中，有学者提出了短时记忆的概念，它描述的是当人接受刺激时，比如一幅图片或一个词，他会迅速将这些刺激转化为一个抽象的概念范畴，并将其与相关事物联系起来。与长期记忆相关的信息。“刺激-概念化-联想”这个过程几乎是在不知不觉中发生的，但它对我们对日常事物的理解和语言交流起着非常重要的作用。图注：“刺激-概念化-联想”的认知过程关于这一点，Hochreiter引用了ModernHopfieldnetworks(MHN)的工作，实际上这项工作也是在他自己的指导下完成的。Hopfield神经网络早在1982年就被提出，它是一种结合存储系统和二进制系统的神经网络，模拟人类记忆的模型。MHN认为Transformer中的self-attention机制是Hopfield网络具有连续状态的更新规则，从Hopfield网络的角度对self-attention进行了全新的解读。与记忆有关的部分解释是，它挖掘了数据中的协方差结构（covariancestructure），即特征如何在数据中共现。MHN会放大这种共现。这种相关性可以被认为是触发记忆的联想部分，从而有效地利用现有知识。Hochreiter指出，MHN可以探索丰富数据之间的相关性，可以避免当代方法容易遇到的“捷径学习”（shot-cutlearning）风险。“Shortcutlearning”是指模型学习到的“特征”并没有真正用于决策，只是发现了一些特殊的相关性，比如飞机总是出现在图片的上部等。（详见AI技术评论的过往介绍：深度学习被“捷径”打败）5Neural-SymbolicSystem神经网络和符号系统的结合可以更好地促进AI模型对世界知识和抽象推理能力的整合。基于理性主义的符号系统以逻辑和符号表示为基础，将人类的推理方法直接编码为机器。它的优势在于强大的抽象能力和使用更少的数据来获得更好的结果。然而，受限于现实世界知识的复杂性、多样性和非结构化性质，很难将这些完美地编码成机器可读的规则。基于经验的神经网络直接使用大量数据，通过隐式（无监督）或显式（监督）引导来引导模型学习有用的数据表示，无需设计复杂的规则即可获得惊人的性能。然而，神经网络也面临解释能力弱和数据匮乏等问题。两者的有机结合也是人工智能领域学者经常思考的问题。有趣的是，这也能让人联想到人类历史上的思想之争。理性主义和感性主义的潮起潮落也是一个有争议的话题。Hochreiter教授认为，发展了一段时间的图神经网络（GNN）是这个方向的代表。这也是IJCAI'20发表的一项调查的观点，该调查将GNN归类为1类神经符号系统。文章认为两者有以下共同点：都在寻求神经网络输入的丰富向量化表示；两者都使用树和图结构来表示数据和它们之间的关系。Hochreiter教授认为，它们在分子特性、社会网络建模、工程领域的预测等强调动态交互和推理的领域都有很好的表现。图注：GNN图结构示意图
