毕业论文
您现在的位置: 语言识别 >> 语言识别前景 >> 正文 >> 正文

达摩院决定交出家底儿

来源:语言识别 时间:2023/6/21
白癜风要注意些什么 http://pf.39.net/bdfyy/zjft/160311/4785535.html

0年8月,一场小规模的开发者评测局悄悄展开,评测的对象是一个连中文名都还没有,只有英文代号的新平台。

不到三周的时间,这个没做什么传播的评测,却迅速吸引来了四五十万的浏览量。

这些开发者的“水平”参差不齐,但都被一个事吸引而来:

在这个新上线的平台上,曾经遥不可及或被牢牢锁在黑箱子里的数百个顶尖AI算法模型,全部免费彻底开源了——而且它还是为中文开发者而生的。

你可以只通过几下点击,就直接体验AI模型的应用效果,比如给一段文字生成一个图像,比如把头像换成卡通版本,比如让AI为一个图片配上文字。乍看上去,它就像一个AI应用的大广场。对于有一些代码知识的人,还可以一行代码实现模型推理,十行代码实现模型调优和定制,有更进一步需求的开发者,则可以在几个小时甚至几分钟就完成代码下载、安装部署到效果验证的全流程。

但是在这些直观的上手应用背后,调用的其实是许多炙手可热的业内最领先的模型,甚至包括不少花费天文数字巨额投入的大模型。这前所未有。

凡是对AI产业有些了解的人此刻已经马上意识到:这个平台是在彻底打破AI发展到今天最主流的商业模式。

“过去这些模型都是各个AI公司的核心商业资产,AI的商业化就是通过封装售卖这些模型完成,今天等于价值几个亿的东西全都免费提供给所有人了。”

在这个平台的背后,牵头者为阿里巴巴达摩院和CCF开源发展委员会,首批合作方还包括澜舟科技、深势科技、智谱AI、中国科学技术大学等。11月3日,在0年的云栖大会上,阿里巴巴集团资深副总裁、阿里达摩院副院长周靖人正式发布了魔搭社区ModelScope。

“过去AI只掌握在少数算法人员手中,难以走向大众化。”他说。现在是时候改变了。

达摩院已经在魔搭上开源出多个经过验证的优质AI模型,包括多个SOTA(业界领先)模型,且超过1/3为中文模型。

那么,究竟是什么让达摩院这些最聪明的头脑们一致决定,把自己五年多来投入巨资研发出的宝贵家底——AI模型,如此决绝的开源出来交给外界?

终于到来的AI范式革命

当达摩院副院长周靖人一年多以前跟视觉算法专家赵德丽在阿里内部讲出模型即服务(ModelasaService,简称MaaS)的概念想法时,这位达摩院基础视觉负责人眼前一亮。

“靖人给我们提这个事的时候,当时就觉得非常靠谱,因为这种想法我们也一直有。”他对品玩回忆。包括他在内的达摩院许多算法专家都意识到,这可能是一次革命性的机会。因为它可以解决今天的AI技术研发与AI应用困局。

让各种模型能在同一平台上基于统一的标准彻底开源,这个事情是需要等待技术成熟的时机的。而今天MaaS等到了。

“我是做算法的,而且是生成模型,我意识到这个事情能做的背后,是有非常深的算法逻辑在里面的。”赵德丽说。

过往人工智能模型有些八仙过海的意味,架构众多。但年之后,Transformer的出现改变了这种趋势。“Transformer出现之后,算法架构从NLP开始,再延伸到视觉方向,迅速统一,基本都以Transformer为底层架构。之后又出现的生成模型Diffusionmodel也是这种趋势。”

也就是说底层架构逐渐走向了统一。“而生成模型的本质,就是给数据分布建模,无论Transformer还是Diffusion模型,它的算法公式里就是怎么去给数据的分布建模。所以只要数据的分布能够被清晰建模,能有一个非常好的基础模型,一旦构建出来之后,基于分布本身的各种应用就能做了,各种问题就有了解决的途径。”

赵德丽将此形容为AI技术一次重要的范式转移。而它也使得AI的应用方式也有了破局的可能。

“很长时间里,AI公司商业化的做法就是专门针对一个具体场景、提供一个算法服务、部署,然后收费。但这个模式的竞争力一天天减少,价值越来越低。”他说。

而且,在这样的逻辑下,研发和产业应用其实在彼此越走越远,AI研究界一个个看似带来突破的模型,却往往沦为少数精英的狂欢,狂欢的另一面是越来越困难的应用。这种特权已成为阻碍AI发展的最大阻力。越来越多的人意识到,找到一个巨大的单一场景,形成一个所谓的AIkillerapp,进而实现可持续的商业化更多变成了幻想,这条路已经走不通了。

“今天我们的想象力还不够丰富,需要有更多的开发者来不断的去用他们的创造力,不断的拓展模型的使用,不断创新。”周靖人对品玩表示。

他把这些新变化带来的AI发展模式总结为MaaS。

AI的生产本质就是模型的生产。周靖人认为,人工智能发展到今天这个阶段,模型本身是重要的一个载体,也是今天的一个重要的技术模块。达摩院需要做的是围绕着模型本身去搭建相关的服务。

“而魔搭就是在整个MaaS理念下面的一个社区,是MaaS的重要体现形式。”

所有的想象落在了魔搭上

算法科学家们都在感到事情正发生变化,但很长时间里却依然对如何下手感到茫然——他们缺少一个能承载住这些变量的东西,MaaS的概念是很吸引人,但”服务”显然比封装出来的“产品”模糊多了。

如何让它变成一个让人摸得到的东西?魔搭就是那个答案。

这是一个希望可以一举三得的设计:更多人参与增加了应用的可能性;算法人员的工作被更多人看到并且更快速的可以看到应用的商业化潜力;而门槛的降低还意味着算法科学家们不再需要跑到一个个工地上去,而可以回到他们最擅长的事情上来——在基础研发上努力突破。

不过,当周靖人和达摩院各个算法实验室的负责人在内部公布这个项目时,不出意外的,还是有不少人表现出了迟疑。

“把我们最好的压箱底的东西开源,而且是彻底的开放,这就等于你辛辛苦苦做出来的东西,别人就直接拿去用了,甚至会有人担心说会不会以后饭碗都没了?”鄢志杰说。他是达摩院语音实验室的负责人。

但很快,在几次内部宣讲后,达摩院的科学家们便不再质疑——再多的纠葛也会被一件事抹平:没有哪个优秀的算法开发者希望自己的算法藏在角落,他们都希望被更多人看到。

而且,这还是一个从未有过的公平的“掰手腕”的机会。据魔搭社区架构师陈颖达介绍,魔搭可以提供标准的数据集,标准的接入模型方式让不同模型可以更公平更直观的做比较。“所有人都可以去复现。”

“我认为光从模型参数的大小是不能够区分大模型的好坏。我们可以不断去堆模型参数,但并不代表这个模型本身有质的飞跃。”周靖人说。“今天我们其实是缺乏一个benchmark(基准),去对各种大模型进行公平的评比。”

这些算法工程师们开始快速投入魔搭的建设中,微妙的变化也开始发生:

“随着魔搭在内部试运营,大家看到有一些模型会得到开发者的认可,他们开始有非常好的成就感。”赵德丽说。有的开发者甚至为一个模型写了万字长文的评测文章,让开发它的算法工程师很受鼓舞——在过往的模式下,往往只有那些最明星的算法模型,才可能享受这般热烈的讨论。

目标统一后,达摩院原本较为轻松的科研氛围也开始变得有些紧张。“我们现在一周有三次会,靖人直接参加对规划和质量把关,解决各种问题。”赵德丽说。

达摩院许多小组在负责开发不同领域的模型,而在魔搭基本准备好后,各小组也开始同时忙起来,改造模型,尽可能快和稳定的把它们放到平台上。

而模型放上去只是个开始,更重要的是更新和维护。“让用户一行代码完成工作的背后,靠的是我们在后端建起的完善的模型存储和版本管理等一系列机制,把模型的自动发现、自动获取与加载。都在一行代码后默默实现。”陈颖达说。

平台上的各种不同模态的模型越来越多,魔搭需要把它们可能遇到的不同使用方式,微调方式,都做好分层的设计,这是一个十分精细的工作,在给初级用户提供非常友好的封装接口的同时,还要保持整个系统的超强开放性。“10行代码实现调优训练,是我们为模型开发者迅速上手而降低的门槛,但对于高阶开发者,我们同样允许他们在魔搭框架接口,和底层AI框架API之间,自由寻找合适的切入点。框架要做的是,提供丰富的必要的组件,供开发者自由选择。”

工具体系是否足够完善也是影响体验的关键。“我们这次也做了一个Python的包,对接到今天各种机器学习框架,让它们能快速引入,快速自动进行模型的下载,能在本地进行二次开发。”周靖人说。

平台搭好了,更重要的是吸引更多的人一起来创造。牵头者呈现出的诚意究竟怎样就十分关键,所有人都在

转载请注明:http://www.0431gb208.com/sjsbszl/5087.html