图神经网络发展到什么程度了？现在我们有一个专门用于评估的基准工具。最近的大量研究让我们看到了图神经网络模型（GNN）的强大潜力，许多研究团队都在不断改进和构建基础模块。但大多数研究使用小型数据集，例如Cora和TU。在这种情况下，即使是非图神经网络的性能也是可观的。如果进一步比较，图神经网络的优势只能使用中等大小的数据集来揭示。在斯坦福图神经网络大师Jure等人的《Open Graph Benchmark》发表后，又出现了另一项旨在构建“图神经网络的ImageNet”的研究。近日，南洋理工大学、洛约拉马利蒙特大学、蒙特利尔大学和MILA等机构的论文已提交至论文预印本平台，深度学习先驱YoshuaBengio参与的新研究也得到了Yann的关注乐存。论文链接：https://arxiv.org/abs/2003.00982在这项研究中，作者一次引入了六个中型基准数据集（12k-70k图，8-500个节点），并对一些具有代表性的Graph神经网络进行了测试.除了仅使用节点特征的基线模型外，图神经网络还分为有或没有成对注意的两类。GNN研究社区一直在寻找一个共同的基准来衡量新模型的能力，这个工具可能会让我们实现我们的目标。现在，如果你想测试自己的图神经网络模型，可以使用它的开源项目进行测试。项目地址：https://github.com/graphdeeplearning/benchmarking-gnns针对不同任务的测试脚本，每个Notebook都会教你如何测试不同的图神经网络。开放基准架构基于DGL库。DGL由AWS上海人工智能研究院、纽约大学、上海纽约大学共同开放和维护。业界领先的图神经网络训练平台，无缝支持主流深度网络平台。基准测试gnn建立在DGL的PyTorch版本之上。AWS上海人工智能研究院首任院长、上海纽约大学张正教授评论道：“这篇论文很及时，也很有意义。首先，它表明现有数据集太小，无法成为人工智能发展的障碍。”进步，学界共识，值得称道的是，这篇文章的作者并没有因为OGB的发布而停下脚步。在我看来，他们的数据集和OGB有很强的互补性，呈现出图神经网络更丰富的应用场景，比如将图像数据转化为图数据，虽然从MNIST和CIFAR出发，也意味着颠覆或改变基于卷积的解决方案网络CNN，例如旅行商问题是一个经典的优化问题，等等。”“另外，基于这一系列数据得出的结论，具有较高的可信度。例如，有了更多的数据，图神经网络就可以充分发挥其优势。例如，带有attention的图神经网络虽然参数更多，但是性能也更好。好的。总而言之，这些结果对于激发更多的模型研究和扩展应用场景非常有意义。”张教授表示，图神经网络已经成为分析和学习图数据的标准工具，并在化学、物理、社会科学、知识图谱、推荐系统、神经科学等多个领域得到成功应用。随着发展在各个领域中，确定可以跨图大小进行泛化的架构类型和关键机制尤为重要，使我们能够处理更多、更大和更复杂的数据集和领域。然而，在缺乏一致的实验设置和没有标准化基准的大型数据集的情况下，衡量新GNN的有效性和比较模型变得越来越困难。在本文中，作者提出了一个可重现的GNN基准框架，使研究人员能够轻松添加新的数据集和模型。将此基准框架应用于来自数学建模、计算机视觉、化学和组合问题的最先进的中尺度图数据集，以建立设计有效GNN的关键操作。更准确地说，图卷积、各向异性扩散、残差连接和归一化层是开发稳健且可扩展的GNN的常见构建块。基准数据集和构建图的方法这项工作的目标之一是提供一个易于使用的中等大小的数据集，过去几年提出的不同GNN架构在该数据集上提高了性能。显着差异。同时，这些差异从统计的角度来看非常有意义，基准包含6个数据集，如表1所示：建议的基准数据集的汇总统计。对于这两个计算机视觉数据集，来自经典MNIST（LeCun等人，1998年）和CIFAR10（Krizhevsky等人，2009年）数据集的每个图像都使用所谓的超像素转换为地图。下一个任务是对这些图形进行分类。在PATTERN和CLUSTER数据集中，图形是根据随机块模型生成的。这些任务包括识别特定的子图结构（PATTERN数据集）或识别集群（CLUSTER数据集）。这些都是节点分类任务。Tsp数据集基于销售人员出行问题（给定一个城市列表，访问每个城市并返回原城市的最短路径是什么？）。随机欧几里德图上的TSP问题被认为是边界分类或连接预测的任务，ConcordeSolver给出的TSP巡回中每个边界的ground-truth值属于现实世界中现有的分子数据集.每个分子都可以转换成一个图：每个原子变成一个节点，每个键变成一条边。基准设置GatedGCN-门控图卷积网络（Bresson&Laurent，2017）是最后一个考虑中的GNN。如果GatedGCN-e在数据集中可用，则表示使用边缘属性/特征的版本。此外，作者还实现了一个不使用图结构的简单基线模型，它对每个节点的特征向量并行使用一个MLP，独立于其他节点。这是一个可选的后续门控机制，用于获得门控MLP基线（有关详细信息，请参阅补充材料）。作者在Nvidia1080TiGPU上针对MNIST、CIFAR10、ZINC和TSP以及在Nvidia2080TiGPU上针对PATTERN和CLUSTER进行了实验。图分类和超像素数据集本节使用计算机视觉中最流行的MNIST和CIFAR10图像分类数据集。超分辨率格式是SLIC(Knyazevetal.,2019)。MNIST有55000个训练/5000个验证/10000个测试图，节点在40-75（即超像素的数量）之间，CI-FAR10有45000个训练/5000个验证/10000个测试图，节点在85-150个之间。图1.示例地图和超像素地图。SLIC的超像素图（MNIST最多75个节点，CIFAR10最多150个节点）是欧几里德空间中8个最近邻的图形，节点颜色代表平均像素强度。表3.不同方法在基于MNIST和CI-FAR10的标准测试集上的测试结果（数字越大越好）。这个结果是4个不同种子的四次运行的平均值。红色是最佳水平，紫色是高水平。粗体表示残差链接和非残差链接之间的最佳模型（如果两个模型处于同一级别，则两者都以粗体显示）。图回归和分子数据集ZINC分子数据集用于对受限溶解度分子特性进行回归分析。这里ZINC有10000个训练/1000个验证/1000个测试图，节点/原子数为9-37。对于每个分子图，节点特征是原子的类型，边特征是边的类型。SBM数据集上的节点分类研究人员考虑了节点级图模式识别任务和半监督图聚类任务。在图模式识别中，为了找到一个固定的图模式P，将其嵌入到一个更大的图G中。半监督聚类任务是网络科学中的另一个重要任务。研究人员针对上述两项任务生成了相应的数据集。表5：标准测试集PATTERN和CLUSTERSBM图的性能。TSP数据集上的边分类TSP（TravellingSalesmanProblem）指的是旅行商问题：给定一个二维欧几里德图，算法需要找到一个名为Tour的最优序列节点。它应该具有最小的边缘权重。TSP的大规模性质使其成为一项具有挑战性的图任务，需要对局部节点邻居和全局图结构进行推理。更重要的是，组合优化问题也是GNN中一个具有研究意义的应用场景。研究这类问题不仅在现实中有广泛的应用，而且对于理解图模型的优化和学习过程以及图网络本身的局限性具有重要意义。在基准测试中，研究人员采用基于学习的方法，建立一个GNN作为骨架网络，对每条边以及是否属于预测结果集进行概率预测。这种概率通过图形搜索技术转化为离散决策。研究人员创建了10,000个训练实例、1,000个验证实例和1,000个测试实例。图2：TSP数据集的示例图。节点以蓝色显示，groundtruth边缘以红色显示。表6：TSP测试集上的图表性能，有/没有剩余连接良好的案例。红色表示模型性能最好，紫色表示模型运行良好。表7：TSP测试集图上的性能。该模型是一个具有32层的深度GNN。模型分为有残差连接和无残差连接两种情况。L表示层数，B表示最好的结果（有无残差连接）。表8：使用和不使用BN、GN时ZINC、CIFAR10和CLUSTER测试集图表的性能。
