毕业论文
您现在的位置: 语言识别 >> 语言识别优势 >> 正文 >> 正文

百度预训练模型ERNIE超越微软和谷歌中

来源:语言识别 时间:2023/5/2
北京专治白癜风医院 https://wapyyk.39.net/bj/zhuanke/89ac7.html

中文搜索巨头百度在这场正在进行的自然语言处理竞赛中击败了微软和谷歌,这可能是由于中文和英文之间的语言差异,也要归功于,百度更懂中文。

北京时间12月10日,预训练模型界的“MVP”百度ERNIE再展锋芒,在自然语言处理领域权威数据集GLUE中荣登榜首,并以9个任务平均得分首次突破90大关刷新该榜单历史,其超越微软MT-DNN-SMART,谷歌T5、ALBERT等一众国际顶级预训练模型的表现。

百度的模型被称为ERNIE(知识增强语义表示),百度的模型最初是为了理解汉语而开发的,但研究人员很快发现,它也能更好地理解英语。

以BERT为代表的预训练模型大幅提升了自然语言处理任务的基准效果,取得了显著技术突破,BERT是美国科技巨头谷歌用来训练人工智能理解人类语言的“蒙面”语言模型。谷歌的模型隐藏了每个序列中15%的单词,然后根据上下文尝试预测它们。

然而,考虑到许多汉字并没有内在含义,直到和其他汉字组合成词汇之后,才具有意义,这是与英语的最大不同,百度团队需要训练自己的人工智能模型,来理解如何隐藏一系列有意义的字的前提下预测“蒙面”的字。

中国的书店

百度的团队在其Github页面上展示了这一技术,以“哈利波特是J.K.罗琳写的一系列奇幻小说”为例。BERT能够通过当地同时出现的单词J,K,和罗琳来识别“K”,但是不能够学习到任何与J.K罗琳相关的知识。然而,ERNIE通过分析隐含的词汇和实体知识,能够推断出《哈利·波特》和j·k·罗琳之间的关系,从而得出《哈利·波特》是J.K.罗琳写的小说的结论。

当百度算法开始理解有意义的单词而不是单个字符时,它在英语和汉语中的表现都更好。此后,该公司将ERNIE应用于实际应用,通过使用人工智能模型提供更好的搜索结果,一篇描述该模型的论文已被人工智能发展协会(AAAI)在2月份的年会上收录。

百度牢牢控制着中国的搜索市场,在谷歌于年撤出中国后,百度积累了70%的市场份额,但互联网使用模式的转变削弱了这种主导地位。像腾讯

转载请注明:http://www.0431gb208.com/sjszjzl/4413.html