毕业论文
您现在的位置: 语言识别 >> 语言识别优势 >> 正文 >> 正文

自然语言十项全能转化为问答的多任务学习

来源:语言识别 时间:2022/9/11
北京哪个皮肤病医院好 https://m-mip.39.net/baidianfeng/mipso_4652392.html

大数据文摘出品

编译:halcyon

NLP领域的十项全能算法来了。

Salesforce最新论文提出了一个可处理多项自然语言处理的通用模型:decaNLP,处理机器翻译、文本分类等NLP任务统统不在话下!

在大数据文摘后台回复“问答”可下载本论文~

以下是论文精华内容:

深度学习提升了许多单个自然语言处理任务的性能。但是,一般的NLP模型集中于单个度量、数据集和任务,因此不能形成典范。我们引进了自然语言十项全能(decaNLP)的概念,一个跨越10个任务的挑战:问答,机器翻译,总结,自然语言推理,情感分析,语义角色标注,关系抽取,目标驱动对话,语义解析,常识性代词消解。

我们将所有的问题转化为一段文本的问答。进一步的,我们提出了一个新的多任务问答网络(MQAN),它可以在没有任何特定任务的模块或参数的情况下,共同学习decaNLP中的所有任务。MQAN显示了机器翻译和命名实体识别(NER)的迁移学习的改进,情感分析和自然语言推理的领域适应,以及文本分类的零样本能力。

我们证明了MQAN的多指针编解码器是这个成功的关键,并且通过相反训练策略(anti-curriculumtrainingstrategy)进一步提高了性能。尽管MQAN是为decaNLP设计的,但它也实现了在单任务设置中的WikiSQL语义解析任务的最新结果。我们还发布了获取和处理数据,训练和评估模型的代码,以及重现了decaNLP的所有实验。

代码链接:

转载请注明:http://www.0431gb208.com/sjszjzl/1506.html