毕业论文
您现在的位置: 语言识别 >> 语言识别发展 >> 正文 >> 正文

谷歌的又一波反击开放大语言模型PaLM

来源:语言识别 时间:2024/12/26

机器之心报道

编辑:小洲

事到如今,OpenAI的ChatGPT在AI社区的统治地位已经无需多言。特别是OpenAI开放ChatGPT的API之后,在开发者社区掌握了极大的话语权。

反观谷歌那边,在第一波发布Bard失利之后,一直处于沉默状态。

但在今日,谷歌组织了第二波反击:开放自家的大语言模型API「PaLMAPI」,此外今天谷歌还发布了一款帮助开发者快速构建AI程序的工具MakerSuite。谷歌表示,此举是为了帮助开发者们快速构建生成式AI应用。

但略为遗憾的是,谷歌目前是向选定的开发人员提供这些工具,而非全面开放。

基于PaLM模型的API

毫无疑问,PaLMAPI是今天谷歌发布的公告的核心。

谷歌介绍称,PaLMAPI是Google大型语言模型的入口,可用于各种应用程序。它将为开发者提供面向对轮交互而优化的模型,如内容生成与对话。它也能为开发者提供摘要、分类等多种任务的通用模型。

从名字可以开出,此次开放的大语言模型API是基于谷歌去年发布的PaLM。这是谷歌基于Pathways系统训练的一个亿参数的大型语言模型。

为了训练这个模型,谷歌动用了块TPU,让Pathways在两个CloudTPUv4Pods上训练PaLM。

强大的系统和算力投入带来了惊艳的结果。谷歌在数百个语言理解和生成任务上评估了PaLM,发现它在大多数任务上实现了SOTA少样本学习性能,可以出色地完成笑话解读、bug修复、从表情符号中猜电影等语言、代码任务。

随着规模的增加,模型在处理多个任务时的性能逐渐提高,而且还在不断解锁新的能力?

?关于PaLM,读者们可以查看论文《PaLM:ScalingLanguageModelingwithPathways》。

此外,谷歌公告称,后续会开放更多规模与功能不同的模型。PaLM是谷歌选择的第一个版本,所以后续我们也可以期待下LaMDAAPI等。

MakerSuite工具

在过去的几年里,谷歌一直在构建和部署大型语言模型——从将MUM引入搜索到在AITestKitchen中使用LaMDA构建APP。谷歌表示,开发人员必须使用不同的工具来完成任务,例如制作和迭代prompt、生成合成数据以及精调自定义模型。

MakerSuite是一种简化此工作流程的工具,让用户将能够根据prompt进行迭代,使用合成数据扩充数据集,并轻松调整自定义模型。当你准备好编程时,MakerSuite允许将prompt导出为你最喜欢的语言和框架(如Python和Node.js)的代码。

谷歌表示,借助MakerSuite,你能够直接在浏览器中快速测试和迭代调整后的模型。

最后补充一句我们观察到的结果:谷歌今日的两篇博客发布后,似乎已经引起了一些人的不满:并非全面开放、也没有定价。也许,可以说相比之前ChatGPTAPI的开放,谷歌这一波反击,也略显失败。

转载请注明:http://www.0431gb208.com/sjszyzl/8190.html

  • 上一篇文章:
  • 下一篇文章: 没有了