图是一种通用语言，可以用来描述和建模复杂系统。图在NLP的世界里无处不在，比如用来描述句法信息的依存树和选区树，还有用来描述语义信息的AMR图。与简单地将自然语言建模为包或序列相比，图可以捕获自然语言中更丰富、更详细的信息。因此，图是许多NLP任务的一种非常合理的表示。例如，对于跨文本的阅读理解任务，如果能够提取文本中的实体信息，并以图的形式建立它们之间的各种联系，将能够有效地帮助文本理解。图神经网络（GNN）恰恰最擅长处理和建模图结构数据。GNN的原理简单概括一下GNN的工作原理就是聚合节点的邻居节点/边的信息来更新节点的向量表示。近年来，深度学习成为NLP领域的主要技术手段。在GNN被引入并广泛应用之前，深度学习领域一直缺乏像CNN适合处理网格数据那样适合处理任意图结构数据的神经网络架构。随着GNN研究的持续火热，越来越多的研究开始尝试使用GNN来解决各种NLP问题。近日，京东硅谷研发中心首席科学家吴凌飞博士及其团队发表了首篇关于GNNsforNLP的详尽综述。论文：https://arxiv.org/pdf/2106.06090.pdfGithub：https://github.com/graph4ai/graph4nlp/本文从《NLP图构建》、《NLP图表示学习》、《GNN-basedEncoder》开始-decoder从“模型”和“GNN在NLP任务中的应用”四个维度对现有的研究进展进行了详细的回顾和解读，整篇综述共127页，其中正文87页，图的构建方法12种，以及12个涉及NLP方方面面的应用场景，此外还涵盖了500篇顶级AI/ML/NLP文章，最后对当前面临的挑战和未来的研究方向做出了独到的总结。基于Encoder-decoder模型和GNN在NLP任务中的应用无论你想了解这个方向的最新研究进展，GNNsforNLPapplicationpipeline的概述，或者它的一个子模块，如果你有兴趣，这篇文章会给你得到的东西。作者团队还为这篇文章配备了graph4nlp库，该库已经发布在github上，为想做的研究人员提供了一个非常好的机会。GNN4NLP研究面临的挑战尽管GNN在各种NLP任务中取得了巨大的成功，但GNN4NLP仍然是一个相对年轻且发展迅速的研究领域，面临着许多挑战：如何将文本数据自动转换为有效的图结构数据，并保留重要信息对下游任务有帮助；如何为不同类型的图结构数据开发有效的GNN模型；如何端到端地学习复杂类型数据（如Graph2Seq、Graph2Tree、Graph2Graph）之间的映射关系。自动图形构建不同类型的NLP任务通常需要不同级别的文本信息。例如，词性、句法等信息对命名实体识别任务更有帮助；而对于阅读理解任务，实体关系等语义信息非常有帮助。另一方面，不同类型的图表通常包含不同类型的信息。因此，如何选择合适的图构建方法对GNN在下游任务中的性能至关重要。本文将所有已知的图构造方法分为两类：静态组合方法和动态组合方法。静态图构建静态图构建有两大特点：引入先验领域知识扩展文本信息；它在预处理阶段完成。两种静态图构建方法：依赖图和选区图本文从以往发表的文献中总结了10余种具有代表性的静态图构建方法，并将其归类为句法信息、语义信息、主题信息等维度。动态图构建动态图构建是近两年兴起的一种自动图合成方法。其最大的特点是：针对下游NLP任务，可以动态进行图结构和图表示的端到端联合学习。动态图构建的常见过程：图相似度度量学习模块计算节点间的相似关系，返回一个全连接加权图；图稀疏模块对全连通图进行稀疏处理，得到稀疏图；如果初始图是已知结构信息，那么初始图结构和学习到的隐藏图结构也可以结合起来，得到更有效的图结构信息。同时，本文总结了目前已知的各种有效的动态图构建方法，归纳出以下四个技术维度和相应的代表性技术。图表示学习当从非结构化文本中得到想要的图时，如何进行图表示学习？别慌，本文从上百篇文献中系统总结了实际研究中遇到的图类型，如何转换，如何使用，编码学习用什么GNN。首先，根据图的节点和边的属性是否唯一，将图分为：具有单一节点和边属性的齐次图；具有单个节点属性但不具有唯一边属性的关系图（多关系图）。图形）;节点属性不唯一的异构图。其次，这些图之间存在相互转换的可能性，所以本文总结了这些不同图可能的转换方式，比如如何从异构图转??换为多关系图等，这些转换提供了更多的可能性和图神经网络应用的选项。最后，弄清楚图的结构和变换后，如何选择合适的图神经网络进行学习呢？本文将现有经典的图神经网络针对每一种图进行总结，让你用起来不再觉得难！对于齐次图，我们概括了一类称为齐次GNN的图神经网络类型。最常见的有GCN、GAT等。特别是，我们注意到许多GNN（例如GCN）针对的是无向图，但实际上许多同构图是有向的，因此我们对有向图和无向图进行了详细讨论。对于多关系图，由于如何应用边的属性，总结了不同的多关系GNN。最常见的有R-GCN、R-GGNN等。值得一提的是，我们发现风靡全网的Transformer也被研究人员用来学习多关系图。我们把它看成一个特殊的多重关系图，并进行系统的分析。对于异构图，由于图的节点和边的属性不受限制，这方面的工作自由度非常高，我们统称为异构图。常见的有基于元路径、关系神经网络扩展（基于R-GNN）等。Flowchartencoder-decoder模型Encoder-decoder架构可以说是近年来NLP领域使用最广泛的框架之一。但是，在不同的任务场景下，如何因地制宜地设计编码器和解码器也是一个极其重要的问题。结合GNN对图结构数据强大的建模能力，许多研究者开始关注如何在Encoder-decoder架构中利用好GNN。本文系统梳理和回顾了该方向的研究进展，并将相关文献分为以下三类：Graph2Seq(graphtosequence)Graph2Tree(graphtotree)Graph2Graph(graphtograph)Graph2Seq&Graph2Tree这三者的示意图来自本文从一个角度，详细介绍了Graphbasedencoder-decoder模型的开发。它不仅包括GNN的使用，还包括各种相关的解码技术。同时，本文还对近期备受关注的基于图变换器的生成模型进行了分析比较，总结了目前面临的一些关键挑战。NLP应用任务那么，图神经网络用在了哪些地方呢？这篇文章总结了来自12个不同方向和26个任务的一百多篇文献，带来最详尽的实际应用解读：自然语言生成（NLG）：1.神经机器翻译，2.摘要生成（Summarization），3.Structural-datatotextgeneration(Structural-datatotext),4.文本问题生成(NeuralQuestionGeneration)机器阅读理解和问答(MRCandQA):1.机器阅读理解(MachineReadingComprehension),2.知识库问题Answering,3.Open-domainQuestionAnswering,4.CommunityQuestionAnswering,DialogSystems):1.DialogStateTracking,2.DialogResponseGeneration,3.NextUtteranceSelectionTextClassification:1.TextClassification文本匹配:1.Text匹配主题建模：1.主题建模情感分类：1.情感分类知识图）：1.知识图补全，2.知识图对齐知识抽取（信息抽取）：1.命名实体识别（NamedEntityRecognition),2.RelationExtraction,3.JointLearningModelsSyntacticanalysisandsemanticanalysis(Parsing):1.Syntacticparsing2.SemanticparsingReasoning):1.MathWordProblemSolving,2.NaturalLanguageInference,3.常识推理SemanticRoleLabeling：1.SemanticRoleLabelingRoleLabeling）对于每个任务，根据以下三点进行分析：该任务的研究背景（background）和使用图神经网络的动机（motivation）；使用图神经网络的方法（方法论）；任务集（benchmark）和评价指标（evaluation）的现有数据针对最受关注的方法部分，本文做如下总结：compositionskills;图表示学习方法；详细解释了一些特殊的方法级别。总结团队介绍本文作者为：京东硅谷研究中心首席科学家吴凌飞博士；西蒙弗雷泽大学裴健教授；京东零售集团搜索与推荐平台部副总裁龙波博士等研究员。Graph4NLP相关包、调查、讲座和文献：调查：http://arxiv.org/abs/2106.06090图书馆：https://github.com/graph4ai/graph4nlpDemo：https://github.com/graph4ai/graph4nlp_demoTutorials：Graph4NLP-NAACL'21(Slides:googledrive,baidunetdisk(drs1))文献综述：https://github.com/graph4ai/graph4nlp_literature论文地址：https://arxiv.org/pdf/2106.06090.pdf
