机器之心专栏
作者：戴音培、李永彬
团队：达摩院-自然语言智能实验室-对话智能团队
如何将人类先验知识低成本融入到预训练模型中一直是个难题。达摩院对话智能团队提出了一种基于半监督预训练的新训练范式，通过半监督的方式将对话领域的少量有标数据和海量无标数据一起进行预训练，将标注数据中蕴含的知识注入到预训练模型中去，新提出的半监督预训练对话模型（Semi-SupervisedPre-trAinedConversationModEl）SPACE1.0版本在剑桥MultiWOZ2.0，亚马逊MultiWOZ2.1等经典对话数据集上取得了5%+显著效果提升。
随着深度学习的迅猛发展，学术界每年都会有许多高质量标注数据集被公开，如文本分类、情感分析等等，同时工业界也会积累沉淀面向任务的各类标注数据，怎样将储存在标注数据中的特定任务知识注入到预训练模型中，从而带来该类任务的普遍效果提升，就成为一个重要的研究方向。
本文从将预训练模型的两大经典范式简介开始，围绕预训练语言模型学到哪些知识、如何向预训练模型注入知识展开，然后重点介绍预训练对话模型及达摩院对话智能团队在半监督预训练对话模型方面的进展，最后对未来研究方向作出展望。
1.预训练语言模型的两大范式
1.1.有监督预训练
神经网络模型的预训练一直是深度学习中备受
转载请注明：http://www.0431gb208.com/sjszlfa/3692.html
