今年首发。图神经网络（GraphNeuralNetworks）成为研究者讨论的焦点。作为该领域的研究者，我感到非常欣慰。记得大概三年前，图神经网络在那个时候还是被忽视的。当我和研究GAN和Transformers的同事交流时，他们认为我的研究方向非常小。到现在，这片田地终于守得云见月。因此，我将在本文中介绍近期GNNs的应用热点。Recommendersystems在电商平台中，用户与产品的交互构成了图结构，因此很多公司使用图神经网络进行产品推荐。典型的做法是对用户和产品的交互进行建模，然后通过一些负采样损失学习节点嵌入，通过kNN实时向用户推荐相似的产品。UberEats长期以来一直以这种方式进行产品推荐。具体来说，他们使用图形神经网络GraphSage向用户推荐食物和餐馆。在美食推荐中，由于地域限制，使用的图结构比较少。在一些包含数十亿节点的大规模图上，也可以使用图神经网络。使用传统方法很难处理如此大规模的图形。阿里巴巴正在研究包含数十亿用户和产品的网络上的图嵌入和GNN。最近，他们提出了Aligraph，只需五分钟即可构建400M节点。图表。很强大！此外，Aligraph还支持高效的分布式图存储，优化采样过程，内部集成了众多GNN模型。该框架已成功用于公司的多个产品推荐和个性化搜索任务。阿里巴巴、亚马逊和许多其他电子商务平台都使用GNN构建推荐系统。Pinterest提出了PinSage模型，该模型使用个性化的PageRank来有效地采样邻域并通过聚合邻域来更新节点嵌入。后续模型PinnerSage进一步扩展了该框架以处理不同用户的多个嵌入。限于篇幅，本文仅列举了一些GNN在推荐系统中的应用（其他案例包括：亚马逊将GNN应用于知识图谱或FabulaAI使用GNN检测假新闻等），但这些足以说明，如果如果用户交互信息足够丰富，那么GNN将显着促进推荐系统的进一步发展。组合优化组合优化（CO）问题在金融、物流、能源、生命科学和硬件设计等各个领域都面临。这些问题大部分都可以通过图结构进行建模，因此过去近一个世纪的研究工作一直致力于从算法层面解决CO问题。然而，机器学习的发展为解决CO问题提供了另一种可能。谷歌大脑团队已成功将GNN用于硬件设计，例如优化谷歌TPU芯片的功耗、面积和性能。计算机芯片可以被认为是由内存和逻辑组件组成的图形，每个组件都由其组件的坐标和类型表示。电气工程师的工作是确定每个组件的位置，同时遵守密度和布线拥塞约束。GoogleBrain团队结合GNN和strategy/valueRL实现了电路芯片布局的设计和优化，其表现优于人工设计的硬件布局。将芯片布局的复杂性与国际象棋和围棋进行比较（来源）此外，还可以将机器学习(ML)模型集成到现有的求解器中。加斯等人。提出一个图形网络，用于以最小化求解器运行时间的方式学习分支定界变量选择策略（混合整数线性程序的MILP求解器的关键）。同时，论文表明该方法既能保证推理时间，又能保证决策质量。在DeepMind和谷歌最近的工作中，图形网络被用于MILP求解器的两个关键子任务：联合变量分配和目标值边界。他们的神经网络方法比来自GoogleProductionPackageandPlanningSystem的大规模数据集上的现有求解器快2-10倍。欲了解更多信息，请参阅相关评论。计算机视觉由于世界上所有物体都紧密相连，因此GNN可用于物体图像。通过场景图可以感知图像，即一组物体出现在同一个场景中，因此它们之间存在联系。场景图已被用于图像检测、理解和推理、字幕生成、视觉问答和图像生成等任务，从而大大提高了模型的性能。Facebook的一项研究表明，在经典的CV数据集COCO中，根据物体的形状、位置和大小创建场景图，然后使用GNN将物体嵌入图中，再结合CNN生成掩码，对象的边界和外部。最后，GNN/CNN可以在用户指定的节点处生成对象图像（确定节点的相对位置和大小）。使用场景图生成图像。用户可以将对象放置在画布上的任意位置，图像会随之变化（比如把红色的“河流”从中间移到右下角，那么图像中生成的河流也会移动到右下角)对于CV的经典任务——两张相关图像的匹配，以前的方法只能手动完成。但现在，3D图形公司MagicLeap开发了一种名为SuperGlue的GNN架构，可以在实时视频中执行模式匹配，用于3D重建、位置识别、定位和映射(SLAM)等任务。SuperGlue由一个基于注意力的GNN组成，它学习图像关键点的表示，然后在最佳传输层匹配这些关键点表示。该模型可以在GPU上进行实时匹配，并且可以很容易地集成到现有的SLAM系统中。有关图形和计算机视觉的更多研究和应用，请参阅以下评论文章。Physics/Chemistry根据粒子或分子之间的相互作用构建图，然后使用GNNs来预测系统特性已逐渐成为生命科学中的重要研究方法。OpenCatalyst项目是Facebook和CMU之间的合作伙伴关系，致力于寻找新的方法来存储可再生能源，例如太阳能或风能。一种可能的解决方案是通过化学反应将这种能量转化为其他燃料，例如氢气。然而，这需要发现新的、更有效的催化剂来加速化学反应，而已知的DFT方法成本极高。OpenCatalyst项目开源了大规模催化剂数据集、DFT松弛和GNN基准方法，希望找到新的、高效的、低成本的催化剂分子。吸附物（小连接分子）和催化剂表面的初始和松弛状态。要找到吸附物-催化剂对的松弛状态，需要昂贵的DFT模拟并需要几天时间。齐特尼克等人。2020DeepMind研究人员还使用GNN来模拟水或沙子等复杂粒子系统的动力学。通过逐步预测每个粒子的相对运动，可以合理地重建整个系统的动力学并理解支配运动的基本规律。这可以用来理解玻璃化转变——固态理论中最有趣的开放性问题之一。此外，使用GNN不仅可以模拟过渡中的动力学，还可以更好地理解粒子如何根据距离和时间相互作用。此外，美国物理实验室的费米实验室正致力于将GNNs应用于CERN的大型强子对撞机(LHC)结果的分析，希望能够处理数百万张图像，并找到和选择与新粒子相关的图像。他们的任务是将GNN部署在FPGA上，并将其与数据采集器集成，使GNN可以在全球范围内远程运行。有关GNN在粒子物理学中的更多应用，请参阅以下评论文章。药物研发制药行业竞争激烈，顶级公司每年投入数十亿美元开发新药。在生物学中，图可以表示不同尺度的相互作用，例如在分子水平上，图的边缘可以是分子中原子之间的键或蛋白质中氨基酸残基之间的相互作用；在更大的范围内，图表可以表示更复杂的结构（例如蛋白质、mRNA或代谢物）之间的相互作用。不同层次尺度的图可用于目标识别、分子特性预测、高通量筛选、新药设计、蛋白质工程和药物再利用等。应用GNN进行药物开发的时间流，Gaudelet等人，2020MIT研究人员及其合作者在Cell(2020)上发表了一篇文章，表明GNN有助于药物开发。他们训练了一个名为Chemprop的深度GNN模型来预测分子是否具有抗生素特性，即对大肠杆菌的生长抑制作用。在用FDA批准的药物库中的大约2,500个分子对其进行训练后，Chemprop被应用于更大的数据集，即包含Halicin分子的药物再利用中心，该数据集基于《2001：太空漫游》电影Renameit中的HAL9000。需要注意的是，由于Halicin的分子结构与已知的抗生素有很大不同，因此之前的工作仅研究了该分子。然而，体内外临床实验表明，Halicin是一种广谱抗生素。与NN模型进行的大量基准测试相比，GNN的应用发现Halicin展现了GNN强大的学习表示能力。此外，Chemprop架构也值得关注：与大多数GNN模型不同，Chemprop有5层和1600个隐藏层维度，远超其他GNN参数。以上介绍只是GNN在新药发现方面的冰山一角。有关更多信息，请参阅此评论和博客。致谢感谢MichaelBronstein、PetarVeli?kovi?、AndreasLoukas、ChaitanyaJoshi、VladimirIvashkin、BorisKnyazev和其他人的反馈和建议。本文转载自雷锋网。如需转载，请在雷锋网官网申请授权。
