流形学习自2000年在著名科学期刊《Science》首次提出以来，已成为信息科学领域的研究热点。很多人可能会问，流形学习有什么用？首先，流形学习可以用作降低数据维数的一种方式。第二，流形可以描述数据的本质。主要代表方法有等距映射、局部线性嵌入等。那么，被称为ManifoldLearning2.0的潜在图学习方法呢？神经网络自提出以来，在人脸识别、语音识别等方面表现出了优异的性能，以前需要人工提取特征的机器学习任务，现在可以用端到端的方式解决。传统的深度学习方法在提取欧式空间数据（如图片是规则的正方形网格，语音数据是一维序列）的特征方面取得了很大的成功。然而，在很多任务中，数据并没有规则的空间结构，即非欧几里德空间中的数据，例如从电子交易、推荐系统等中抽象出来的图，以及各个节点与其他节点之间的连接关系。该图不固定。在经典的CNN、RNN等框架无法解决或效果不佳的情况下，图神??经网络应运而生。图左（红框）：欧式空间数据；右图：非欧几里德空间中的数据。图神经网络利用关系归纳偏差以图的形式处理数据。然而，在许多情况下，没有现成可用的图表。那么图深度学习适合这种情况吗？本文将介绍潜在图学习和早期的流形学习。潜在图学习在过去几年中，人们对使用机器学习方法来处理图结构数据产生了浓厚的兴趣。这种类型的数据也自然地出现在许多应用中，例如社会科学（例如用户在Twitter或Facebook上关注的图表）、化学（分子可以建模为通过键连接的原子图）或生物学（不同生物分子之间的关系).相互作用通常被建模为相互作用组图）。图神经网络(GNN)是一种特别流行的图学习方法，其中算法通过在相邻节点之间交换信息的共享参数在本地运行。但是，在某些情况下，没有现成的图形可以用作输入。在生物学中尤其如此，因为发现蛋白质相互作用的实验既昂贵又嘈杂，因此仅部分了解蛋白质-蛋白质相互作用等图表。因此，研究人员从数据中推断图并将GNN应用于它们，称之为“潜在图学习”。潜在图学习是特定于应用程序的，并针对下游任务进行了优化。此外，有时这样的图表可能比任务本身更重要，因为它可以传达有关数据的重要见解并提供一种解释结果的方法。潜在图学习是学习具有空边集的图。在此设置中，输入是高维特征空间中的点云。与集成的深度学习方法不同，例如PointNet，它将共享的可学习逐点函数应用于每个点，潜在图学习还寻求跨点传输信息。DGCNN点云动态图卷积神经网络(DGCNN)是第一个此类架构，由麻省理工学院的YueWang开发。受涉及3D点云分析的计算机图形学问题的启发，该架构使用图形作为点云下的局部光滑流形结构的粗略表示。Yue的一个重要发现是图形不需要在整个神经网络中保持不变，事实上，它可以而且应该动态更新——因此方法DGCNN的名称。DGCNN动态构造一个k最近邻图用于特征扩散。该图依赖于任务并在每一层之后更新。这张图（取自[4]）显示了到红点的距离（黄色代表更近的点），表明在分割任务中，更深的图捕获语义关系而不是几何关系，例如机翼对、引擎等。DGMDGCNN就是用同一个空间来构造图和图上的特征。AneesKazi和LucaCosmo提出了一种新的架构——可微分图模块（DGM），它通过解耦图和特征构建来扩展DGCNN，如下图所示：图。（来源：[5]）DGM在应用于医学领域的问题时显示出极好的结果，例如从脑成像数据预测疾病。在这些任务中，研究人员获取多名患者的电子健康记录，包括人口学特征（如年龄、性别等）和脑成像特征，并试图预测患者是否患有神经系统疾病。之前的工作通过在基于人口统计特征的手动构建的“患者地图”上执行特征扩散，展示了GNN在此类任务中的应用。另一方面，DGM提供了学习图的优势，可以传达某些特征在特定诊断任务中是如何相互依赖的。其次，DGM在点云分类任务中也击败了DGCNN，但差距很小。ManifoldLearningDGCNNs和DGMs在概念上类似于ManifoldLearning或非线性降维算法，后者已经存在很长时间并且仍在数据可视化中使用。流形学习方法的基本假设是数据具有固有的低维结构。尽管数据可以用数百甚至数千维来表示，但它只有几个自由度，例如：虽然这个数据集中的手部图像是高维的（64x64像素形成4096维），但它们本质上是低维的维度，可以用两个自由度来解释：手腕旋转和手指伸展。流形学习算法能够捕获数据集的这种内在低维结构，并将其表示在欧几里德空间中。（图源[9]）又如球面上的一个点（即三维欧氏空间上的一个点），其坐标可以用三元组表示：但实际上这个三维坐标只有两个变量θ和φ，也可以说它的自由度为2，对应它是一个二维流形。流形学习的目标是捕获这些自由度并将数据的维度降低到其固有维度。流形学习与PCA等线性降维方法的一个重要区别在于，由于数据的非欧结构，我们可能无法通过线性投影来恢复流形。如下图，lineardimensionalityreduction（左）是线性降维，manifoldlearning（右）是非线性降维。流形学习算法恢复“流形”的方法各不相同，但它们共享一个共同的蓝图。首先，创建一个数据表示，其局部结构是通过构建k最近邻图获得的。其次，计算数据的低维表示（嵌入）并尝试保留原始数据的结构。这是大多数流形学习方法不同的地方。这种新表示将原始的非欧几里得结构“扁平化”为更易于处理的欧几里得空间。第三，一旦表示被计算出来，机器学习算法（通常是聚类）就会应用到它上面。多种流形学习方法的蓝图：首先，将数据表示为图形；其次，计算该图的低维嵌入；第三，将ML算法应用于这种低维表示。挑战之一是图构建与ML算法的分离，有时需要精确的参数调整（例如邻居的数量或邻域的半径）来确定应如何构建图以使下游任务正常运行。也许流形学习算法的一个更严重的缺点是数据很少以低维原始形式表示。例如，在处理图像时，必须使用各种手工制作的特征提取技术作为预处理步骤。图深度学习提供了一种现代方法，可以用单个图神经网络代替上述三个阶段。例如，在DGCNN或DGM中，图构建和学习是同一架构的一部分：潜在图学习可以看作是流形学习问题的现代设置，其中图被学习并用作端到端的一部分-结束GNN流水线。这种方法的吸引力在于它将单个数据点和它们驻留在同一管道中的空间组合在一起。在图像示例中，我们可以使用传统的CNN从每个图像中提取视觉特征，并使用GNN对它们之间的关系进行建模。PeerNet是标准CNN中基于图形的正则化层，它聚合来自多个图像的相似像素，降低对对抗性扰动的敏感度。（来源[12]）潜在图学习的其他应用潜在图学习还有许多其他有趣的应用。第一种是少样本学习：使用基于图的方法从少量样本中进行泛化（重要：只需要少量标记样本）。在计算机视觉中，标注的数据量从几千到几万不等，成本非常高，所以few-shotlearning变得越来越重要。二是生物学领域：人们经常通过实验观察蛋白质等生物分子的表达水平，并试图重建它们的相互作用和信号网络。第三是物理系统的分析：图形可以描述多个对象之间的交互。特别是处理复杂粒子相互作用的物理学家最近对基于图的方法表现出浓厚的兴趣。第四个是NLP问题：在NLP领域，图神经网络可以看作是transformer架构的推广。提到的许多问题还提出将先验知识纳入图结构，这在很大程度上仍然是开放的：例如，人们可能希望强制图服从某些构造规则或与某些统计模型兼容。潜在图学习虽然不是一个全新的领域，但却为旧问题提供了新的视角。对于图形机器学习问题，这无疑是一个有趣的设置，为GNN研究人员提供了新的方向。
