引言
随着预训练技术与硬件的不断发展，预训练语言模型已经成为自然语言处理领域较为成熟且不可或缺的一环，但由于预训练模型架构本身往往不具备获取常识、实体知识的能力，在一些基于知识的任务（例如涉及逻辑推理或认知）上力有不逮。而知识图谱提供了对知识的显式建模，因此可以提供丰富的结构化知识和常识来帮助语言理解、强化语言模型的表示能力，同时，基于大规模语料训练的语言模型也能够帮助强化知识图谱的表示。因此近年来，将知识图谱与预训练语言模型相结合已经成为一个非常活跃的研究领域。
本次分享将介绍三篇相关论文，分别关于基于知识图谱的语言模型训练、基于预训练语言模型的知识图谱构建、预训练语言模型与知识图谱表示的联合训练。
文章概览
知识增强的上下文单词表示(KnowledgeEnhancedContextualWordRepresentations)论文
转载请注明：http://www.0431gb208.com/sjslczl/363.html
