当前位置: 首页 > 科技观察

中国科学院深圳高级研究院:新型知识增强图神经网络实现可解释推荐

时间:2023-03-12 09:23:31 科技观察

近年来,基于大数据和深度学习的人工智能展现出卓越的计算能力和学习能力。然而,深度学习模型通常包含深层嵌套的非线性结构,很难确定是什么因素使其做出这样的决定,缺乏决策的可解释性和透明性。同时,可解释的推荐任务越来越受到研究者的关注,因为可解释的推荐不仅可以提高推荐系统的透明度、可解释性和可信度,还可以提高用户满意度[1]。随着深度学习方法和语言处理技术的发展,许多方法在提供个性化推荐时使用自然语言生成技术生成自然文本解释[2-3]。但由于数据稀疏性,难以生成高质量的文本解释,可读性较差。此外,由于知识图谱可以包含更多的事实和联系,一些研究人员利用知识图谱进行推荐,并通过图推理路径增强推荐的可解释性[4-5]。然而,基于图路径的方法需要一些前提条件或定义,例如预先定义路径或数据集中的多种类型的关联,并且知识图谱可能包含冗余实体,从而导致推荐结果同质化。论文链接:https://ieeexplore.ieee.org/abstract/document/9681226为此,作者提出了一种新的知识增强图神经网络(KEGNN)来实现可解释的推荐。KEGNN利用外部知识库中的语义知识,从用户、项目和用户-项目交互三个方面学习知识增强的语义嵌入。从用户-项目交互的角度出发,利用知识增强语义嵌入构建并初始化用户行为图。然后,提出了一种基于图神经网络的用户行为学习和推理模型。该模型通过传递用户的偏好信息,对用户行为图进行多跳推理,从而充分理解用户行为。最后,为推荐预测设计了一个层次化的协同过滤层,复制机制结合GRU的生成器生成高质量的、人类可读的语义解释。作者对三个真实数据集进行了广泛的实验。实验结果表明,KGNN优于现有方法。Methods作者提出了一种知识增强图神经网络来实现可解释性,所提出方法的架构如图1所示。主要包括四个模块:知识增强语义表示学习、用户行为学习和基于图神经网络的推理网络、分层协同过滤和文本解释生成。Module1:为了学习user、item和user-item交互的语义表示学习,作者将user和item的评论文档按时间顺序pooling形成三类文本文档,分别表示为user、item和user-item分别交互。对三种文档进行了进一步的知识增强语义表示学习。图2显示了知识增强语义表示学习模块的结构。首先,在上下文表示部分,首先学习词级嵌入表示和语义上下文表示,并使用BiLSTM全局捕获词级嵌入的顶层以获得层次语义表示。其次,在知识感知方面,作者利用知识库来增强语义表示学习。另外,作者使用one-hot表示user/item编码,使用全连接层映射将稀疏的one-hot表示转化为稠密表示作为user/item的固有表示。最后,使用multi-headattention进一步融合/item的知识感知表示和用户内在表示,输出知识增强的用户/项目/用户-项目交互表示。模块二:为了充分了解用户偏好,作者设计了一个基于图神经网络的用户行为学习和推理模块,包括用户行为图构建、信息传播层和多跳推理三个步骤,如图3所示.首先,作者从user-item交互关系出发,构建用户行为图,并用知识增强语义表示初始化用户行为图的节点表示和边表示。其次,基于图神经网络的架构,作者设计了基于GNN信息传播层的一阶邻接网络(ego-network)的信息传播和信息融合来捕捉用户行为。最后,以递归的方式使用多跳推理对图结构的高阶连接信息进行建模。模块三:作者基于神经协同过滤框架设计了一种层次化神经协同过滤算法,如图4(a)所示,主要包括三个神经协同过滤层,实现用户-产品交互预测。第一个神经协作层是一个全连接层。将用户行为图学习和推理得到的用户表示和产品表示拼接为输入,输出第一层用户-产品交互表示,如公式1所示:(公式1)中对于第二层,我们设计一个关系感知神经网络层,它将用户-项目关系表示与第一层的输出融合在一起。采用两种融合方式,即Hadamard乘积(如式2)和全连接层非线性融合(如式3),分别输出关系感知的用户-产品交互表示和高层交互表示:(式2)(Equation3)第三层将relation-awareuser-iteminteractionrepresentation和high-levelinteractionrepresentation作为输入来实现ratingprediction,如Equation4所示:(Equation4)Module4:Combininggenerativemodelsandcopyingmechanism(generativemodels和复制模式),作者设计了一个新颖的文本解释生成模块来生成高质量的人类可读解释。图4的右侧部分演示了该模块的详细信息。循环神经网络GRU被用作解释生成器;此外,引入复制机制,从用户的原始评论中提取信息,将两种模式(生成模式和复制模式)结合起来,生成直观的文字说明(词序),便于用户阅读和理解.实验数据集选择本文使用了Amazon5core的三个数据集,分别是electronics、home-kitchen和music-equipment。评级范围是[0,5]。对于所有数据集,作者随机选择每个数据集中80%的用户-项目交互作为训练集,10%的用户-项目交互作为测试集,其余10%的用户-项目交互作为验证集。在评分预测方法的比较中,作者将KEGNN与CTR、PMF、NARRE、NRT、GCMC、LightGCN、RippleNet进行了比较(计算各方法的RMSE和MAE),如图所示。从结果可以看出,对于所有数据集,作者的方法KEGNN在MAE和RMSE上都优于所有比较方法。解读生成质量从结果可以看出,作者的方法在precision和F1指标上表现最好,但召回率不如CTR或NARRE。质量评估结果表明,作者生成的文本解释与处理行为相关的基本事实评论相似,揭示了处理行为背后隐含的用户意图。作者还在以下案例研究中进一步研究了可解释性。案例分析作者选择了一些案例来证明生成的解释的可解释性。所选用例均来自测试集。因此,在解释生成过程中隐藏了真实文本。三个数据集的典型案例如上表所示。地面表示用户给出了真实的评论。从案例研究中,我们可以看出作者方法生成的解释解释了用户对评级项目的选择以及他们购买的原因。可解释的概念和方面以粗斜体突出显示,表示用户行为的潜在意图并展示推荐结果的可解释性。结论本文提出了一种基于知识增强图神经网络(KEGNN)的可解释推荐方法,该方法利用来自外部知识库的语义知识来增强用户、项目和用户-项目交互三个方面的表示学习。作者构建了用户行为图,并设计了基于图神经网络的用户行为学习和推理模块,用于全面理解用户行为。最后结合GRU生成器和复制机制生成语义文本解释,并使用层次神经协同过滤实现精准推荐。有关详细信息,请参阅论文详细信息。