现代人工智能系统可以像勤奋的学生准备考试一样处理图像中的物体识别和蛋白质3D结构预测等任务。通过使用大量示例问题进行训练，此类系统可以逐渐减少错误，直至成功。但这是一项孤独的工作，而且只是已知的学习形式之一。学习还需要与他人互动和交流。一个人很难独自解决极其复杂的问题。通过赋予解决问题类似游戏的品质，DeepMind之前已经在研究中训练了AI代理（Agents）来玩夺旗，并在《星际争霸》中达到大师水平。因此，我们想看看基于博弈论的观点是否有助于解决其他基本的机器学习问题。最近，在ICLR2021上，我们发表了论文“EigenGame:PCAasaNashEquilibrium”并获得了杰出论文奖。我们的研究探索了解决旧问题的新方法：我们将主成分分析(PCA)（一个特征值问题）重新表述为竞争性多智能体游戏或EigenGame。PCA通常被表述为优化问题（或单代理问题）；然而，我们发现多主体视角允许我们利用最先进的计算资源来生成新的数据分析和算法。这使我们能够将PCA扩展到以前计算密集型的大规模数据集，并为未来的研究探索提供一种替代方法。PCA作为纳什均衡PCA（主成分分析）最早于20世纪初提出，此后成为分析高维数据结构的长期技术。这种方法现在通常用作数据处理管道的第一步，可简化聚类和可视化数据。同时，它也是学习回归和分类的低维表示的实用工具。PCA被提出一个多世纪后，仍然有很好的理由去研究和研究它。首先，原本由人类用笔和纸记录的数据，现在存储在像仓库一样大的数据中心。结果，这种熟悉的分析形式成为了计算瓶颈。研究人员探索了随机算法和其他方向来改进PCA的扩展方式，但我们发现这些方法难以扩展到大规模数据集，因为它们无法充分利用最近以深度学习为中心的计算进步：即访问多个并行GPU或TPU.其次，PCA与许多重要的机器学习和工程问题共享一个共同的解决方案，称为奇异值分解(SVD)。通过以正确的方式解决PCA问题，我们的数据分析和算法将更广泛地适用于机器学习树的各个分支。图1.植根于SVD的知识树涵盖了机器学习中的几个基本概念，包括PCA、最小二乘法、谱聚类、原型值函数、潜在语义索引和排序。与任何棋盘游戏一样，为了将PCA设计成游戏，我们需要制定一套规则和目标供玩家遵循。有很多方法可以设计这样的游戏；然而，一个重要的设计思想来自PCA本身：最优解由特征向量组成，特征向量捕获数据中的重要方差并且彼此正交。图2每个玩家都希望与最大方差的方向对齐（数据分布更广），但也希望垂直于层次结构中较高级别的玩家（所有玩家编号较低）在EigenGame中，每个玩家各自控制一个特征向量。玩家通过考虑数据的差异来提高他们的分数，但如果他们与其他玩家过于相似则会受到惩罚。我们还建立了一个层次结构：玩家1只关心最大化方差，而其他玩家也必须关注最小化与层次结构中高于他们的玩家的相似性。这种奖励和惩罚的组合决定了每个玩家的效用。图3总结了上面每个玩家的效用通过适当设计方差Var和对齐Align项，我们证明：如果所有玩家都表现最佳，他们共同达到游戏的纳什均衡点，这就是PCA算法的解决方案.如果每个玩家单独并同时使用梯度上升来最大化他们的效用，这个目标就可以实现。图4EigenGame引导每个玩家沿着单位球体从空心圆圈到平行箭头。蓝色代表玩家1，红色代表玩家2，绿色代表玩家3。这种同时提升的独立性尤为重要，因为它允许计算分布在数十个谷歌云TPU上，从而实现数据和模型并行。这使得我们的算法能够适应真正的大规模数据。EigenGame可以在数小时内找到包含数百万特征或数十亿行的数百兆字节数据集的主要组件。图5每个彩色方块都是一个单独的设备。(L)每个播放器在单个设备上运行并计算更新。(R)将每个玩家复制到多个设备并使用独立的数据批次计算更新；然后平均不同的更新以形成更可靠的更新方向效用，更新和介于两者之间的一切通过多代理从PCA的角度来看，我们能够提出可扩展的算法和新颖的分析方法。我们还发现了与赫布学习的惊人联系，或者神经元在学习时如何适应。在EigenGame中，每个追求效用最大化的玩家都会生成一个更新方程，该方程类似于从大脑突触可塑性的Hebb模型中导出的更新规则。我们知道Hebb更新可以收敛到PCA解，但它不能作为任何效用函数的梯度导出。博弈论为我们研究赫布学习提供了新的视角，也为机器学习问题提供了一系列解决方案。机器学习连续统一体的一端是提出可优化目标函数的既定路径：使用凸和非凸优化理论，研究人员可以推断解决方案的全局属性。另一方面，直接指定受神经科学启发的纯连接主义方法和更新规则，但这可能会增加分析整个系统的难度，往往需要研究复杂的动力系统。像EigenGame这样的博弈论方法介于两者之间。玩家更新不会受到函数梯度的约束，而只会受到对其他玩家当前策略的最佳响应。我们可以自由设计具有必要属性的效用函数程序和更新，例如，指定无偏或加速更新，同时确保Nash属性仍然允许我们分析整个系统。图6允许使用多个效用函数来弥合优化方法和动态系统之间的差距EigenGame可视化如何将机器学习问题的解决方案设计为大型多代理系统的输出。一般来说，将机器学习问题设计为多智能体博弈是一个具有挑战性的机制设计问题；然而，研究人员已经在两个玩家之间使用这种零和博弈来解决机器学习问题。最值得注意的是，生成对抗网络(GAN)这种生成建模方法的成功激发了人们对博弈论与机器学习之间关系的兴趣。EigenGame超越了这一点，进入了更复杂的多人非零和游戏设置。这优化了并行性，实现了更大的规模和速度。它还为机器学习相关社区提供可量化的基准，以测试新颖的多代理算法以及外交和足球等更丰富的领域。我们希望我们的实用程序和更新的设计蓝图将鼓励其他人探索设计算法、代理和系统的新方向。我们期待在未来看到其他问题被表述为游戏，以及对我们收集的数据的分析是否会加深我们对多智能体智能本质的理解。
