当前位置: 首页 > 科技观察

“神经+符号”:从知识图谱看认知推理的发展

时间:2023-03-12 18:05:44 科技观察

在过去十年的人工智能浪潮中,以深度学习为代表的人工智能技术基本实现了视觉、听觉等感知智能,但仍无法很好地实现思考和推理等认知智能。因此,具有推理和解释能力的认知智能研究无疑会受到越来越多的关注,成为未来人工智能领域的重要发展方向之一。研究人员无疑拥有最敏锐的嗅觉。例如ACM图灵奖获得者约书亚·本吉奥(YoshuaBengio)在NeuIPS2019的受邀报告中明确提到,深度学习需要从系统1(System1)向系统2(System2)转型。注:这里所说的系统1和系统2指的是认知科学中的双通道理论,其中系统1代表直觉、快速、无意识、非语言、习惯性的认知系统,也就是现在的深度学习系统。技术擅长的事情;System2是指一个缓慢的、有逻辑的、有序的、有意识的、可语言表达的、合理的系统,是深度学习未来需要重点研究的方向。1、神经系统和符号系统的特点从更宏观的角度看人工智能,System1对应神经(Neural)学派,System2对应符号(Symbolic)学派,而Bengio的System2的深度思想学习与“神经+符号”的人工智能目标基本一致。顺着这一点追溯,我们可以发现,另一位ACM图灵奖获得者MarvinMinsky,明确阐述了人工智能与认知心理学(即System1和System2)之间的关系,并深入分析了其特征和神经系统和符号系统在人工智能中的组合可能性,如图1所示。从宏观到具体,在数据对象、存储、应用等方面,无论是神经系统还是符号系统,其目的数据建模的目的是解决给定输入问题的答案,如图2所示。但不同的是,神经系统擅长处理非结构化数据(如文本等)。目前主流模型以端到端为主,常见的应用场景包括机器翻译、语音识别、简单问题智能问答(比如姚明身高多少?)等;而符号系统主要基于结构化数据库,通常支持结构化查询、推理引擎等,可以解决复杂的问题(比如美国是农产品出口大国,为什么还要进口咖啡?).值得一提的是,ACM图灵奖获得者LeslieValiant精辟地指出,神经系统侧重于数据特征的学习过程,而符号系统必须包含搜索过程。许多面向符号系统的研究本质上都是致力于各种高效的搜索算法。神经系统和符号系统各自的特征也可以通过计算机视觉应用中的两个例子来理解:图3(a)中的例子代表了经典的手写识别,对于给定的手写数字和比较器的可观察样本集,经过训练,大量的神经系统模型可以识别各种笔迹(即视觉层面的泛化认知能力),但难以实现符号知识的认知泛化(即对于那些训练样本中没有出现Comparatorexample,难以求解判断)。同样,在图3(b)的视觉问答示例中,神经系统可以轻松应对简单的视觉问答场景(例如,图片中有多少只长颈鹿?),但如果更复杂的问题(例如,动物图中Whatpropertiesdotheyhavethecommonwithzebras?),必须借助外部符号知识(如知识图谱)进行认知推理,才能完成求解过程。综上所述,“神经+符号”系统无疑是人工智能的理想模型。我们可以总结出一个完善的“神经+符号”系统的特点和优势:1.可以轻松处理当前主流机器学习擅长的问题;2、对数据噪声有很强的鲁棒性;3、系统的求解过程和结果易于理解、解释和评价;4、能熟练操作各种符号;5.能无缝运用各种背景知识。然而,要实现“神经+符号”的有机结合并不容易。多年来,各个领域的人工智能研究人员对此做了大量的研究。知识图谱是近年来人工智能的热门研究方向。从早期的知识库和专家系统,到2012年谷歌正式推出知识图谱,其发展过程也可以看作是神经系统和符号系统发展的缩影。包括“神经+符号”组合的几种尝试,如图4所示。2“神经+符号”组合作者从知识图谱领域的研究角度总结了目前的工作,发现“Nerve+Symbolic”可以分为两大类:neuralforsymbolic方法的特点是将神经网络方法应用于传统符号系统的问题求解,通常主要用于解决浅层推理问题。例如,知识图谱嵌入(knowledgegraphembedding)[1]、图神经网络(GraphNeuralNetworks,GNN)[2]等技术被用于完成知识图谱,其特点是使用统计推理代替逻辑推理;还有利用递归神经网络(RecurrentNeuralNetwork,RNN)、图卷积网络(GraphConvolutionalNetwork,GCN)等技术进行多跳智能问答[3]都是类似的任务,如图5所示。此外,SwiftLogic[3]、NeuralTheoryProvingMachine[4]、LogicalTensorNetwork[5]等工作也是“神经”辅助“符号”的尝试。主要思想是改进神经网络的方法,将其应用于知识图谱领域的深度推理场景,进而提升效果。符号神经(symbolicforneural)方法的特点是将符号方法应用在神经网络的训练过程中。例如,使用逻辑规则在深度神经网络中执行数据管理[6];将知识图应用到具有远程监督、少量样本和零样本的模型和场景中[7,8],如图6所示。最近有一类研究称为可解释人工智能(explainableAI)[9],其主要思想是利用知识图谱中的事实或规则来解释神经网络在训练过程中的行为,从而提高可解释性神经网络。.值得一提的是,清华大学唐杰等人提出的认知图谱[10]是可解释人工智能中“神经+符号”和“系统1+系统2”的一次尝试,旨在利用符号知识表示、推理,以及决策解决深度学习求解过程的黑盒问题。3总结与展望上述研究现状表明,“神经+符号”的结合仍然只关注一方面,对另一方的应用或迁移是一个问题。要实现“神经+符号”系统真正的有机结合,还有很长的路要走。如何在神经和符号之间取得巧妙的平衡将是衡量模型价值的关键,其范围涉及几乎所有当前主流的人工智能研究,如图7所示。“神经+符号”未来研究可能涉及的关键问题和挑战包括:1.知识表示:建模多模态、时空、事件等非结构化数据符号知识表示;2.实用推理性与效率:利用神经方法实现深度推理或加速传统符号推理的效率;3.Humanintheloopandinterpretability:将专家或用户反馈纳入系统考量,确保系统求解过程的可解释性。参考文献:[1]WangQ,MaoZ,WangB,etal.知识图谱嵌入:方法和应用综述[J]。IEEETransactionsonKnowledge&DataEngineering,2017,29(12):2724-2743.[2]ZhangM,ChenY.基于图神经网络的链路预测[C]//神经信息处理系统,2018:5171-5181.[3]耆那教使用事实记忆网络对知识库进行问答[C]//NAACL学生研究研讨会论文集。2016.[4]RocktaschelT,RiedelS.端到端可微证明[C]//神经信息处理系统,2017:3788-3800.[5]SocherR、ChenD、ManningCD等。ReasoningWithNeuralTensorNetworksforKnowledgeBaseCompletion[C]//神经信息处理系统,2013:926-934.[6]HuZ,MaX,LiuZ,等。HarnessingDeepNeuralNetworkswithLogicRules[C]//计算语言学协会会议,2016:2410-2420.[7]ZengD,LiuK,ChenY,等人。远程监督PiecewiseConvolutionalNeuralNetworksforRelationExtraction[C]//EmpiricalMethodsinNaturalLanguageProcessing,2015:1753-1762..[8]ChangX,ZhuF,BiX,等。挖掘视觉任务的知识图谱[C]//DatabaseSystemsforAdvancedApplications,2019:592-594.[9]SamekW、GrégoireMontavon、VedaldiA等人。可解释的人工智能:解释、解释和可视化深度学习[M]。卷。11700.2019:SpringerNature.[10]丁男,周C,陈Q,等。大规模多跳阅读理解的认知图[C]//第57届计算语言学协会年会论文集。2019:2694-2703。