知识图谱本身是一种图结构数据，采用图构建知识和数据之间的关联，应用图神经网络技术，有望结合知识和数据，实现更好的可解释和可信人工智能技术。本文将介绍基于图神经网络的知识图谱学习与计算以及基于图神经网络融合知识图谱信息的应用的研究进展。
1
知识图谱与图神经网络
近几年来，人工智能技术得到了飞速发展，其进展突出体现在以知识图谱(KnowledgeGraph)为代表的知识工程和以图神经网络(GraphNeuralNetWorks,GNN)为代表的深度学习等相关领域。融合知识图谱与图神经网络已然成为研究人员进一步完善知识图谱学习与提升图神经网络模型推理能力的重要技术思路。
知识图谱是以图的形式表现客观世界中的实体及其之间关系的知识库，实体可以是真实世界中的物体或抽象的概念，关系则表示了实体间的联系。因此，知识图谱能够以结构化的形式表示人类知识，通过知识表示和推理技术，可以给人工智能系统提供可处理的先验知识，让其具有与人类一样的解决复杂任务的能力[1~3]。如何更好地构建、表示、补全、应用知识图谱，已经成为认知和人工智能领域重要的研究方向之一。
图神经网络的概念最早于年由戈里(Gori)等人[4]提出，是一种专门用于处理图结构数据的神经网络模型。使用图可以更准确和灵活地对现实应用中的数据建模，如在电子商务领域中的用户–产品交互图、化学领域的分子图、医药领域的药物副作用图等。因此，研究者们设计了多种图神经网络模型，包括图卷积网络(GraphConvolutionalNetwork，GCN)[5~7]、图注意力网络(GraphAttentionNetwork，GAT)[8]等。此外，由于异质图具有更灵活的建模和融合信息的能力[9]，研究者们还尝试设计和应用基于异质图的图神经网络模型[10~12]。如何设计更合理的图神经网络模型，使信息沿着图结构更合理地传播，从而提升模型对图结构数据的拟合能力，是人工智能领域的一个热点问题。
近年来，描述常识和事实的知识图谱成为了学术界和工业界广泛使用的知识表示方式，图神经网络在信息传播、关系归纳偏置上也展现了优秀的性能[13]。考虑到知识图谱本身恰好就是一种图结构数据，因此采用图构建知识和数据之间的关联，同时应用图神经网络技术，有望结合知识和数据实现更好的可解释和可信人工智能技术。一方面，利用图神经网络在学习节点、边表示上的优势，可以更好地学习知识图谱的实体、关系的嵌入表示，改善关系抽取等任务，帮助构建知识图谱，以及提高链接预测等任务，帮助补全知识图谱；另一方面，利用图神经网络在信息传播和推理上的优势，可以更有效地在应用任务中引入知识图谱中的信息，从而改善如文本挖掘、推荐系统、计算机视觉等领域中的应用效果，提供可解释的模型。
本文将对知识图谱与图神经网络模型相融合的方法及应用进行综述。
2
基于图神经网络的知识图谱学习与计算
由于知识图谱可以表征实体之间结构化的关系，如今已经成为认知和人工智能领域重要的研究方向。图神经网络利用深度神经网络对图数据中的拓扑结构信息和属性特征信息进行整合，进而提供更精细的节点或子结构的特征表示，并能很方便地以解耦或端到端的方式与下游任务结合，巧妙地满足了知识图谱对学习实体、关系的属性特征和结构特征的要求。本节主要从知识图谱中的5个典型任务介绍基于图神经网络的知识图谱学习方法。
知识图谱表示学习
知识图谱表示学习，即为知识图谱中的实体和关系学习出一个低维度的向量表示，同时包含一些语义信息，从而得以在下游任务中更加方便地提取和利用知识图谱中的信息，例如链接预测[10]、常识问答[1]等。通过应用图神经网络，在学习知识图谱的表示时，每个实体都将利用到与其相关的其他实体中的信息，打破了彼此之间的孤立性，从而学得更完整更丰富的实体、关系表示。
经典的翻译系列模型在知识表示和推理的问题上显示出强大的学习能力，例如图1（a）中，TransE(TranslatingEmbedding)[14]提出头实体的向量表示加上关系的向量表示，应当等于尾实体的向量表示，通过这种约束，TransE学得了实体之间丰富的语义关系。Cai等人[15]将翻译系列模型的思想引入到了GCN[7]中，提出了TransGCN（如图1(b)所示），综合了TransE模型和图神经网络的优点。考虑到知识图谱中的关系具有不同种类的特点，关系图卷积网络(R-GCN)[10]使用关系特定的变换矩阵扩展了GCN，如图1(c)所示，并且为了缓解由于关系种类过于丰富而导致的参数量巨大的问题，提出了基分解和块对角分解两种正则化策略。当出现知识库之外的实体时，一种思路是利用相关的实体和关系学习新实体的表示，例如滨口(Hamaguchi)等人[16]提出使用图神经网络利用邻实体和对应的关系获得新实体的表示，并针对知识图谱的特点，为图神经网络提出了新的传播模型；Wang等人[17]进一步改进了传播模型，即逻辑注意力网络(LogicAttentionNetwork，LAN)，以考虑实体邻域的无序性和不平等性质，从而更好地学习实体和对应的邻实体之间的关系。与以上研究不同的是，Hu等人提出了一种利用实体描述作为辅助文本的知识图谱表示学习方法Teger，如图1(d)所示，它一方面利用GCN对辅助文本中的局部语义关系和长距离语义关系进行编码，另一方面基于TransE学得知识图谱的结构信息，从而通过结合两种途径得到了更精确的实体表示。GENI(GNNforEstimatingNodeImportance)[18]为了估计知识图谱中实体的重要性，提出了邻实体的重要性分数（而不是邻实体的特征）对中心实体的重要性评估起主要作用的观点，因此设计了预测感知的注意力机制和灵活的中心性调整策略，使重要性分数进行传播，而非实体表示。
信息抽取
信息抽取是指从非结构化、半结构化文档或句子中提取结构化信息的技术，与知识图谱的构建有着密切的联系，主要包括命名实体识别、实体消歧、关系抽取、指代消解等任务。近年来，已有许多研究将图神经网络应用于知识图谱的关系抽取任务，而在其他任务上对图神经网络的探索还较少。通过图神经网络可以对句子内或句间词与词的关联关系进行有效建模，从而更准确地捕捉实体间的关系。
关系抽取，即从文本中识别抽取实体对之间的语义关系。例如，从句子“[贾玲]，80后相声新秀，师承中国著名相声表演艺术家[冯巩]”中识别出实体“[贾玲]”和“[冯巩]”之间具有“师生”关系。在关系抽取中，许多工作基于句子的依赖树使用GCN对词之间的依赖关系进行编码，或基于知识图谱表示进行句子编码，从而预测关系类别。如图2(a)所示，C-GCN(ContextualizedGCN)[19]是一种基于上下文的GCN模型，该模型将句子的依赖树进行剪枝，只保留与实体对的依赖关系路径部分；基于注意力的图卷积网络(AttentionGuidedGraphConvolutionalNetwork，AGGCN)[20]也在句子的依赖树上使用GCN模型，但采用了多头注意力机制以一种软加权的方式对边（依赖关系）进行选择，如图2(b)所示；与之前两个基于依赖树的模型不同，Zhang等人[21]将GCN用于编码关系的层次结构，提出了一种由粗到细粒度的知识感知注意机制以提高关系抽取的效果，如图2(c)所示。以上三种方法均用于单句上的关系抽取，而萨胡(Sahu)等人[22]则将包含多个句子的整个文档进行构图，如图2(d)所示，图中的节点代表单词，边代表多种单句内和跨句间的关系，然后应用GCN更新图节点的表示，从而进行跨句关系抽取的任务。
实体消歧，即对于从文本中抽取得到的实体对象，将其链接到知识库中对应的正确实体对象。如图3所示，Hu等人[23]提出了一种图神经实体消歧模型(GraphNeuralEntityDisambiguation,GNED)，首先为文档构造实体–词异质图，对文档中的实体之间的语义关系进行编码；然后将GCN应用于该异质图，获得语义信息增强的实体表示；最后采用条件随机场来结合实体链接的局部和全局信息。
实体对齐
实体对齐是将从知识图谱中学习到的描述同一目标的实体或概念进行合并，再将合并后的实体集与开放链接数据中抽取的实体进行合并，旨在融合多个知识图谱形成一个更完整的知识图谱。由于图神经网络具有识别同构子图的能力[24]，而可对齐的实体对周围通常有相似的邻居，即具有一定的同构特征，因此目前有许多研究者尝试将图神经网络用于实体对齐。
Cao等人[25]提出了一种新的多通道图神经网络模型(Multi-ChannelGraphNeuralNetwork，MuGNN)，来为两个不同的知识图谱中的待对齐实体学习鲁棒表示。该模型还对规则进行了推断和传递，以进一步增强两个知识图谱的一致性。Zhang等人[26]提出了一种统一的框架LinKG来合并不同来源的知识图谱，同时为了将歧义性强的实体（如人名）正确对齐，还提出了一种异质图注意力网络(HeterogeneousGraphAttentionNetwork)，在相关的子图上学习每对候选者是否匹配。Sun等人[27]指出大量的对应实体对不具有同构的邻居结构，导致图神经网络为此类实体产生的实体表示并不匹配，由此提出AliNet(AlignmentNetwork)，基于注意力机制引入了远距离的邻居以扩展邻居结构的重叠部分，增强了对应实体对的同构性。在实体对齐中有一类特殊的子任务，即跨语言实体对齐。Wang等人[28]通过多个GCN实现跨语言实体对齐。该方法分别使用一个GCN将每种语言的实体和关系分别嵌入到一个统一的空间中，从而为属性和结构都学习一个表示，最后基于这两种表示进行实体对齐。与之不同的是，Xu等人[29]基于给定实体的邻域子图，将实体对齐问题转化为了图匹配问题，提出了一种基于图注意力的方法，对两个实体子图中的所有实体进行匹配，并对局部匹配信息建模，最终得到一个图级别的匹配向量。
链接预测
链接预测是用于预测知识图谱中实体对之间所缺少关系的任务，具有广泛的应用范围，旨在解决知识图谱不完整的问题。链接预测与知识图谱表示学习有着不可分割的联系，一方面表示学习通常需要用链接预测评价优劣[10,15]，另一方面链接预测的模型通常也会学得实体和关系的表示。许多工作利用图神经网络为实体引入邻实体和对应关系的信息，学得更全面的实体表示，从而更准确地预测实体之间的链接关系。
GMatching[30]开发了一种基于度量小样本学习方法，它利用R-GCN[10]为单跳邻居进行编码从而捕捉局部的图结构信息。由于R-GCN的一个不足之处是平等地对待邻域中的不同实体，SACN（Structure-AwareConvolutionalNetwork）[31]引入了加权GCN来定义具有相同关系类型的两个相邻实体之间的相关性，利用节点结构、节点属性和关系类型来获取知识图谱中的结构信息，最后送入解码器Conv-TransE来预测关系是否成立。解码器采用ConvE[32]来度量语义的匹配程度，同时还可以获得TransE[14]的翻译特性。目前常见的学习个性化权重的方式是引入注意力机制，因此纳撒尼尔(Nathani)等人[33]引入GAT[8]使得链接预测时可以在利用邻实体信息的同时，依据多头注意力机制为不同邻实体分配不同的权重。Zhang等人[34]进一步提出了一种基于层次注意力的关系图神经网络(RGHAT)，第一层是关系级别的注意力，其灵感来自不同关系对某一实体的指示权重不同的直觉；第二层是实体级别
转载请注明：http://www.0431gb208.com/sjszlfa/4022.html
