AI发展70年迎来大一统？马伊琍、曹颖、沉向阳最新AI评测：探索智能生成的基本原理和“标准模型”的产生和发展，没有答案。近日，马一教授与计算机科学家沉向阳博士和神经科学家曹颖教授合作，发表了一篇关于智能的产生和发展的研究综述，希望从理论上统一智能体的研究，提高对人工智能的理解和可靠性。楷模。解释性的。论文链接：http://arxiv.org/abs/2207.04630论文中介绍了两个基本原则：ParsimonyandSelf-consistency。作者将此视为人工智能兴起的基石，无论是人工的还是自然的。虽然经典文献中对这两个原则有很多相关的讨论和阐述，但本文以完全可衡量和可计算的方式重新诠释这两个原则。基于这两个首要原则，作者推导出一个高效的计算框架：压缩闭环转录，它统一并解释了现代深度网络和许多人工智能实践的演化。两个基本原则：简单性和自洽性在深度学习的支持下，过去十年人工智能的进步主要依赖于同构黑盒模型的训练和使用粗略的工程方法训练大规模神经网络网络。虽然性能有所提升，不需要手动设计特征，但是神经网络内部学习到的特征表示是不可解释的，而且模型大带来了其他困难，比如数据收集和计算的成本增加，学习到的表示.缺乏丰富性、稳定性（模式崩溃）、适应性（容易发生灾难性遗忘）；对变形或对抗性攻击等缺乏鲁棒性。作者认为，当前深度网络和人工智能实践中出现这些问题的根本原因之一是缺乏对智能的功能和组织原则的系统和全面的理解系统。例如，在实践中，训练用于分类的判别模型和用于采样或重放的生成模型在很大程度上是分开的。这种经过训练的模型通常称为开环系统，需要通过监督或自我监督进行端到端的训练。在控制理论中，这种开环系统（open-loopsystems）不能自动修正预测中的错误，对环境变化没有适应性；正是因为存在这样的问题，它们在受控系统中得到了广泛的应用。“闭环反馈”的使用使系统能够自主纠正错误。类似的经验也适用于学习：一旦将判别模型和生成模型结合起来形成一个完整的闭环系统，学习就可以变得自主（无需外部监督），并且更加高效、稳定和高效。适应性。为了理解智能系统中可能需要的功能组件，例如判别器或生成器，我们需要从更“原则性”和“统一性”的角度来理解智能。本文提出了两个基本原则：Parsimony和Self-consistency，分别回答了关于学习的两个基本问题。学习什么：从数据中学习什么，以及如何衡量学习的好坏？如何学习：我们如何通过高效且有效的计算框架来实现这样的学习目标？对于第一个问题“学什么”，简约性原则认为，智能系统的学习目标是从外界的观测数据中寻找低维结构，并以最紧凑、最紧凑的方式重新组织和表示。结构化的方式。这就是“奥卡姆剃刀”的原则：如无必要，勿增实体。没有这个原理，智能就无法产生和存在！如果没有对外部世界观察的低维结构，就没有什么可以学习或记住来很好地概括或预测。此外，智能系统需要尽可能地节约资源，例如能量、空间、时间和物质。在某些情况下，该原理也称为“压缩原理”。然而，智能的简约并不是要做到最好的压缩，而是要通过高效的计算手段，得到观测数据最紧凑、最结构化的表达。那么应该如何衡量简单性呢？许多常用的数学或统计“度量”对于一般的高维模型来说是指数级的计算代价，甚至对于具有低维结构的数据分布来说是未定义的，例如最大似然、KL散度、互信息、Jensen-Shannon和Wasserstein距离等。作者认为，学习的目的其实就是建立一个映射（通常是非线性的），从原来的高维输入中得到一个低维表示。这样得到的特征z的分布应该更加紧凑和结构化；紧凑意味着存储更经济；结构化意味着更有效的访问和使用：尤其是线性结构，非常适合插值或外推。为此，作者引入了线性判别表示（LDR）来实现三个子目标：压缩：将高维感官数据x映射到低维表示z；线性化：将分布在非线性子表面的每一类对象映射到线性子空间；稀疏化：将不同的类别映射到相互独立或最不相关的子空间。这些目标可以通过最大程度地降低编码率（ratereduction）来实现，确保学习到的LDR模型具有最优的简约性能。对于“如何学习”的第二个问题，自洽性原则认为：一个自主的智能系统通过最小化观察到的数据和再生数据的内部表达差异，寻求对外部世界最自然的观察.合适的型号。简约原则本身并不能确保学习模型捕获有关外部世界的数据中的所有重要信息。例如，通过最小化交叉熵将每个类别映射到一维单热向量可以看作是简约的一种形式。它可能会学习到一个很好的分类器，但学习到的特征也可能会崩溃为单例，也称为神经崩溃。此类学习到的特征将不再包含足够的信息来重现原始数据。即使我们考虑更一般的LDR模型，单独最大化编码率差异也不能自动确定环境特征空间的正确维数。如果特征空间的维度太低，学习到的模型将无法拟合数据；如果太高，模型可能会过度拟合。更一般地说，我们认为感知学习不同于学习特定任务。感知的目标是学习关于所感知的一切可预测的事情。正如爱因斯坦所说：“事情应该力求简单，但又不能太简单。”通用学习引擎就是基于这两个原则。文章以视觉图像数据建模为例，推导出压缩闭环转录框架（compressiveclosed-looptranscriptionframework）。它通过比较和最小化内部表示的差异来实现LDR，在内部执行非线性数据子流模式的压缩闭环转录。编码器/传感器和解码器/控制器之间的追逐游戏允许解码表示生成的数据分布追逐并匹配观察到的真实数据分布。此外，作者指出压缩的闭环转录可以有效地进行增量学习。可以通过编码器和解码器之间的约束博弈来学习新数据类的LDR模型：过去学习过的类的记忆可以自然地保留为博弈中的约束，即作为闭环转录的“固定点”.我们还提供了关于该框架的普遍性的更多推测性想法，将其扩展到3D视觉和强化学习，并预测其对神经科学、数学和高级智能的影响。通过这个第一性原理衍生框架：信息编码理论、闭环反馈控制、优化/深度网络和博弈论的概念都被有机地集成为一个完整的、自主的智能系统的必要组成部分。值得一提的是，压缩闭环架构普遍存在于自然界所有智能生物体中，并在不同尺度上存在：从大脑（压缩感知信息），到脊髓回路（压缩肌肉运动），再到DNA（压缩蛋白质功能信息）因此，作者认为压缩闭环转录应该是所有智能行为背后的“通用学习引擎”。它使自然或人工智能系统能够从看似复杂的感知数据中发现和提取低维结构，并将其转化为简洁、有规律的内部表达，以利于对未来外部世界的正确判断和预测。这是一切智能发生和发展的计算基础和机制。参考资料：http://arxiv.org/abs/2207.04630
