年5月23日上午，在中国中文信息学会青年工作委员会主办、北京智源人工智能研究院和美团点评承办的“ACL-IJCAI-SIGIR顶级会议论文报告会（AIS）”中，智源青年科学家、清华大学计算机科学技术系博士生导师、长聘副教授贾珈作了题为《NLPinIJCAI》的报告。
贾珈，智源青年科学家，清华大学计算机科学技术系担任博士生导师、长聘副教授，中国计算机学会语音对话和听觉专委会秘书长，中国中文信息学会语音专业委员会秘书长，主要负责学会青年工作委员会学生委员工作，主要研究方向为情感计算。
IJCAI是人工智能领域的顶级国际学术会议，在演讲中，贾珈基于IJCAI的录用论文内容，按算法层面和任务层面两个维度，从无监督预训练、跨语言学习、元学习和少样本学习、迁移学习、误差、知识融合、问答、自然语言生成、多模态这九个方面介绍了关于自然语言处理的主要成果和研究趋势。
下面是贾珈演讲的精彩要点介绍。
整理：智源社区罗丽
一、IJCAI词云图中的NLP热点
IJCAI中有80余篇论文和自然语言处理相关，通过对关键词做词云分析，我们可以发现，深度学习在自然语言处理当中仍然占据主导型地位。
图1：历年IJCAINLP论文数量及关键词“词云”分析
除了深度学习之外，词云当中还包含年的其他研究热点，主要总结为以下四个方面：
（1）生成类的任务，如对话生成、段落生成。
（2）网络结构设计，在网络结构设计当中研究者们非常喜欢用Attention。
（3）实体关系抽取和实体识别，在今年的IJCAI中，实体关系抽取和实体识别被广泛进行相关的研究。
（4）与神经网络结合设计模型框架，越来越多的研究者注重利用知识和神经网络结合的方式来设计自己的模型框架。
接下来，贾珈主要从两个维度（算法层面，任务层面）、九个方面对IJCAI中NLP相关研究进行了总结。
图2：IJCAINLP研究中的9个highlights
二、算法层面对NLP的研究总结
1.无监督预训练
预训练语言模型一直是NLP领域的研究热点，它极大地提升了各大NLP任务的性能。
图3：有关BERT的通用语言模型
图3是在BERT出现后，有关BERT的一系列通用语言模型。在IJCAI中，也有相关工作聚焦到了语言模型的预训练当中，这些预训练的语言模型中，既包含了通用的预训练模型，如EViLBERT模型[1]、AdaBERT模型[2]，也包含了某一个特定任务上的预训练模型，如BERT-INT模型[3]、BERT-PLI模型[4]和FinBERT模型[5]。
EViLBERT模型是通过多模态预训练的语言模型淘汰Imagecaption(图像描述)，取得了较好的效果；AdaBERT模型是利用网络结构搜索进行参数压缩，解决BERT耗时长、参数量大的问题；BERT-INT解决知识图谱的对齐问题；BERT-PLI解决的是法律条文检索的问题；FinBERT解决的是金融文本挖掘的问题。
BERT的出现，已经极大地推动了NLP领域的发展，贾珈推测，NLP围绕BERT的相关研究在未来几年主要体现在这两个方面：
（1）如何加快无监督的语言模型训练过程；
（2）如何通过减少时间开销，寻找更好的网络结构。
2.跨语言学习
近年来，NLP领域对跨语言学习的研究愈发
转载请注明：http://www.0431gb208.com/sjszjzl/1251.html
