现在只要是跟AI主题有关的活动都绕不开一个话题:AI大模型。
在刚刚结束的GoogleI/O大会上,谷歌展示了其如何将最先进的预训练大模型应用在日常工作中,比如谷歌文档的自动总结功能可将几十页文件总结成几句话。在4月提交的论文中谷歌研究人员训练了一个亿参数的大型语言模型——PaLM,可以自动生成代码、解决数学问题、修复bug、解释笑话的梗。AlphaBetCEO桑达尔·皮查伊表示PaLM的优点在于可区分因果关系,理解上下文中的概念组合,其在数学问题上的准确率提升到58%,接近60%的9到12岁儿童解决问题的水平。
国内AI巨头百度不遑多让,其在年就已开始积累AI预训练模型技术,年12月正式发布了全球首个知识增强千亿大模型鹏城-百度·文心,参数规模亿。在5月20日的WAVESUMMIT深度学习开发者峰会上,百度公布了飞桨文心大模型最新全景图,提出支撑大模型产业落地的3个关键路径,在业内首发行业大模型。文心大模型是一个大模型家族或者说大模型IP,在WAVESUMMIT,文心大模型家族迎来十大新成员,涵盖基础、任务和行业等不同类型大模型。
跟谷歌一样,百度也将AI大模型的重点放在了语言、知识等维度,或许这与两家AI巨头有着搜索引擎这一共同出身有关,因为搜索引擎本质就是用NLP技术处理知识,知识是AI的内核,因此两家搜索引擎也成为AI技术的关键玩家。
对AI大模型上心的不只是谷歌和百度,年国外的微软、英伟达、谷歌,国内的浪潮、华为和阿里……越来越多科技巨头都在布局AI大模型。年AI大模型竞赛正愈演愈烈,大有成为AI技术关键角逐场的趋势。
国内外科技巨头狂炼AI大模型为哪般?
AI大模型更准确地称呼是“AI预训练大模型”,“预训练”字面意思很容易理解:预先训练好,这样应用开发者可得到相对现成的训练结果,基于此直接开发AI应用,不再需要从0到1训练数据、建立模型。
AI大模型通过堆叠数据集“贪婪式”地训练模式,拥有较强的通用性,理论上可泛化到多种应用场景,而小样本或零样本的技术实现,则可让应用开发者快速基于其构建工程应用。
AI大模型是深度学习技术的新突破,进一步增强了AI技术的通用性。
深度学习高速发展十年来,AI技术已被广泛应用。信息技术在今天已成为世界运转的基础设施,AI技术也在走向这一阶段,也就是AI工业化。当AI工业化阶段来临,AI要支撑更加广泛普适的场景,要支撑更大更复杂的AI计算需求,要实现从弱人工智能到强人工智能的升级,依靠传统训练模式已很难满足,具有“巨量数据、巨量算力、巨量算法”特性的AI大模型生逢其时。
可以说,AI大模型本质就是深度学习的“加强版”,通过给模型“填喂”大数据提高其自学习能力,进而具有更强的智能程度,比如在自然语言处理上表现更佳。百度、谷歌等巨头的探索表明,基于预训练大模型的NLP技术的效果已超过过去最好的机器学习能力。
AI大模型是AI工业化的关键,正是因为此,全球科技巨头不约而同重注AI大模型。
年底微软董事长兼CEO萨提亚·纳德拉就直言,他现阶段
转载请注明:http://www.0431gb208.com/sjsbszl/3523.html