将传统的标签传播方法与简单模型相结合，超过目前最优GNN在一些数据集，这是康奈尔大学和Facebook联合提出的一项研究。这种新方法不仅与当前SOTAGNN的性能相匹配，而且参数少得多，运行速度快几个数量级。图神经网络(GNN)是图学习中的主要技术。但我们对GNN成功的秘诀以及它们是否是良好性能所必需的知之甚少。康奈尔大学和Facebook最近的一项研究提出了一种新方法，该方法在许多标准转换节点分类基准上优于或匹配最先进的GNN的性能。这种方法结合了一个忽略图结构的浅层模型和两个利用标签结构中的关联的简单后处理步骤：（i）“错误关联”：传播训练数据中的残差以纠正测试数据中的错误；(ii)“预测相关性”：对测试数据的预测结果进行平滑处理。研究人员将此步骤称为CorrectandSmooth(C&S)，后处理步骤是通过对早期基于图的半监督学习方法中的标准标签传播(LP)技术进行简单修改来实现的。该方法在多个基准测试中超过或接近最先进的GNN的性能，参数大小小得多，运行时间快几个数量级。例如，该方法在OGB-Products上的性能优于SOTAGNN，参数数量为1/137，训练时间为1/100。该方法的性能表明，直接将标签信息纳入学习算法可以轻松实现显着的性能提升。这种方法也可以合并到大型GNN模型中。论文地址GitHub地址图神经网络缺陷继神经网络在计算机视觉和自然语言处理领域取得巨大成功后，图神经网络被用于预测关系数据。这些模型取得了长足的进步，例如OpenGraphBenchmark。许多新颖的GNN架构的设计思想都是从语言模型（例如注意力）或视觉模型（例如深度卷积神经网络）中的新架构改编而来的。然而，随着这些模型变得越来越复杂，了解它们的性能提升已成为一个重要的挑战，并且将这些模型扩展到大型数据集的难度也在增加。新方法：标签信息+简单模型本文研究了如何通过组合更简单的模型来实现性能，并着重于了解提高图学习性能的机会，尤其是在转导节点分类方面。研究人员提出了一个简单的管道（见图1），它由3个主要部分组成：基础预测，它使用忽略图结构的节点特征（例如MLP或线性模型）完成；校正步骤，它将训练数据中的不确定性传播到整个图形以校正潜在的预测；平滑图形预测结果。步骤2和步骤3只是后处理步骤，它们使用了基于图的半监督学习的经典方法，即标签传播。通过对这些经典思想的改进和新部署，本研究在多节点分类任务上实现了最先进的性能，超越了大规模GNN模型。在这个框架中，图结构不用于学习参数，而是作为一种后处理机制。这种简单性将模型参数和训练时间减少了几个数量级，并且可以轻松扩展到大图。此外，该方法还可以与SOTAGNN结合，实现一定程度的性能提升。这种方法性能改进的主要来源是直接使用标签进行预测。这不是一个新想法，但在GNN中很少使用。研究发现，即使是简单的标签传播（忽略特征）也能在许多基准测试中取得优异的成绩。这提供了结合两种预测能力来源的动力：一种来自节点特征（忽略图结构），另一种来自直接在预测中使用已知标签。具体来说，该方法首先使用基于节点特征的基础预测器，不依赖于任何图学习。然后，执行两种类型的标签传播（LP）：一种通过对相关误差建模来纠正基本预测；一个平滑最终预测。研究人员将这两种方法的组合称为Correct和Smooth（C&S，见图1）。LP只是一个后处理步骤，管道不是端到端训练的。此外，该图仅在后处理步骤中使用，在预处理步骤中用于增强特征而不用于基础预测。这使得该方法比标准GNN模型训练更快且可扩展。该研究还利用了LP和节点特征，将这些互补信号结合起来可以产生出色的预测结果。为了验证该方法的有效性，研究人员使用了Arxiv、Products、Cora、Citeseer、Pubmed、Email、Rice31、USCounty和wikiCS等九个数据集。节点分类的初步结果如下表2所示，研究人员取得了以下重要发现。首先，使用本文提出的C&S模型，LP后处理步骤将带来巨大的收益（例如，在Products数据集上，MLP的基本预测准确率从63%提高到84%）；其次，PlainLinearmodelwiththeC&SframeworkLP的性能在很多情况下优于plainGCN，而没有可学习参数的方法LP的性能通常与GCN相当。这些结果表明，通过简单地使用特征将关联直接合并到图中通常会更好；最后，C&S模型变体的性能通常明显优于SOTA。在其他数据集上，性能最好的C&S模型和SOTA性能没有太大区别。使用更多标签可进一步提高性能下表4显示了结果，突出了两个重要发现。首先，对于想要在很多数据集上取得良好性能的转导节点分类实验，实际上并不需要规模大、训练成本高的GNN模型；其次，结合传统的标签传播方法和简单的基预测器，能够在这些任务上胜过图神经网络。更快的训练速度，优于现有的GNN与GNN或其他SOTA解决方案相比，本文中的C&S模型往往需要更少的参数。如下图2所示，研究人员在OGB-Products数据集上绘制了参数和性能（准确率）的变化曲线。除了更少的参数外，真正的收益来自更快的训练。由于研究人员没有在底层预测中使用图结构，因此与其他模型相比，C&S模型通常在训练速度上实现一个数量级的提升，同时保持相当的准确性。具体来说，与SOTAGNN相比，具有线性基预测器的C&S框架在OGB-Products数据集上表现出更高的准确性，训练时间减少到1/100，参数数量减少到1/137。性能可视化为了更好地理解C&S模型的性能，研究人员对美国县数据集上的预测结果进行了可视化，如下图3所示。正如预期的那样，残差关联倾向于纠正其邻近县提供相关信息的节点。
