知识图谱是NLP的未来吗？都2021年了，很多当年如火如荼的技术在今天早已无人问津，而知识图谱这个AI界的大IP应该是18、19年最火的时候。PR自带图谱+NLP的布局，可以赋予AI认知能力。在人工智能普遍降温的当下，是时候让我们冷静思考知识图谱的未来了。回到问题本身：知识图谱是NLP的未来吗？我的看法：知识图谱不是NLP的未来，因为知识图谱是另一种与NLP有很多交集的技术。在目前已知的所有发展方向中，知识图谱是最有可能长期和NLP互利共赢的技术。那么，知识图谱和NLP到底是什么关系呢？直觉上，机器学习可以比作人类的学习。回顾我们自己的学习过程，大脑和感官主要负责信息的获取、处理、分析和决策。对于简单的问题或者几个天才，在收到信息后，只需要在脑子里想一想就可以得出结论。但是对于复杂的问题，比如工作报告或者期末考试，光靠大脑是很难记住所有信息的。这时候，很多人会选择将一些经过处理的结构化或半结构化的知识整理成笔记，以备需要时方便。快速回顾。你找到了吗？大脑的作用与NLP和其他ML技术非常相似，笔记几乎是KG的灵感来源。具体来说，NLP在图的构建过程中扮演着重要的角色，图通过引入知识来反馈NLP。大量证据表明，像Bert这样的预训练语言模型已经存储了知识，就像我们的大脑中有一些关键记忆一样，但不可能像人类一样将现实世界中的所有事实内化。大脑不可能记住所看到的一切，而知识图谱可以通过引入知识来缓解NLP的学习压力。另一个严重的问题是，由于NLP技术远不如人脑聪明，模型在训练时记忆的知识实际上是不可控的（这里可以看看隔壁的AI偏差问题[1]），这是很对NLP技术很重要。实时应用的应用是需要考虑的风险，而在可解释性方面，知识图谱是bug级别的存在。知识图谱如何赋能NLP技术？关于NLP技术如何赋能图谱构建的资料很多，知识图谱的应用近年来也如火如荼。然而，并没有多少人谈论知识图谱如何赋能NLP技术。总结了近几年KG赋能NLP技术的一些方式。欢迎在预训练中加入知识表示工作：ERNIE[2]，使用phrase和entitymask策略在中文NLP任务中取得更好的效果，其中phrase和entity来自KG图2.ERNIEK-BERT[3]，注入相关KG在预训练时三倍，为模型配备领域知识，提升模型在特定领域任务上的性能，降低大规模预训练训练成本。图3.K-BERT信息抽取中的远程监督使用KG对齐的文本进行远程监督标注数据是信息抽取领域的大杀器，可以有效降低人工标注的成本，并且可以完成实体抽取等子任务、关系抽取、事件抽取一气呵成，用过的朋友都说不错。图4远程监督entitylink中引入entityinformationentitylink是将文本中的mention链接到KG中的实体的任务。如下图[4]所示：图5.Entitylink显然，KG中的实体信息，如实体描述、实体属性、实体嵌入和实体之间的关系等是本任务的关键特征。如果您想了解更多，请转到步骤[4]。在文本生成中融合知识，通过知识图谱中的显示事实引导文本生成，是实现可控文本生成的一个重要方向，如下图[5]：图6.文本生成大致可以分为四种典型方法[6]:Multi-tasklearning(generation+textentailment)knowledgegraph-basedtextgenerationmemorynetwork-basedtextgenerationcombinedwithdistribution-samplingfortextgeneration如果您想了解更多信息，请转到[6]。将关键词信息引入语义匹配在深度语义匹配任务中，有人发现通过文本中关键词之间的交互，相对容易找到匹配对象，与其他词的关系不大[7][8]。图7.语义匹配案例因此，考虑从KG中引入特定领域的关键字表，然后在建模时突出关键字的重要性，以获得更好的结果[8]。图8.关键字注意机制[1]AI偏见：机器是绝对理性的吗？https://baijiahao.baidu.com/s?id=1684480115111405061&wfr=spider&for=pc[2]ERNIE：通过知识整合增强表示https://arxiv.org/pdf/1904.09223.pdf[3]K-BERT：启用LanguageRepresentationwithKnowledgeGraphhttps://arxiv.org/pdf/1909.07606.pdf[4]ab[KnowledgeGraph]EntityLink:A"FromShalowtoDeep"Overview-Nicolas'Article-知乎https://zhuanlan.zhihu.com/p/100248426[5]TextGenerationfromKnowledgeGraphswithGraphTransformershttps://arxiv.org/pdf/1904.02342v1.pdf[6]abTextGeneration12:4种知识融合文本生成（推荐合集）-林小平的文章-知乎https://zhuanlan.zhihu.com/p/133266258[8]abKeyword-AttentiveDeepSemanticMatchinghttps://arxiv.org/abs/2003.11516
