國(guó)內(nèi)大模型迎來(lái)中場(chǎng)戰(zhàn)事
由互聯(lián)網(wǎng)和科技界掀起的大模型浪潮,迎來(lái)了新戰(zhàn)事。
自今年3月以來(lái),國(guó)內(nèi)已有超過(guò)20家企業(yè)入局大模型賽道。從百度“文心一言”、阿里“通義千問(wèn)”的發(fā)布,到360“紅孩兒”、商湯“日日新”、網(wǎng)易“玉言”、科大訊飛“星火”、昆侖萬(wàn)維“天工”等的推出,再到騰訊“混元”、京東“ChatJ”、華為“盤(pán)古”等的預(yù)告?;ヂ?lián)網(wǎng)巨頭、科技公司紛紛秀出“肌肉”,誰(shuí)也不想在這場(chǎng)大模型混戰(zhàn)中掉隊(duì)。
而在這場(chǎng)狂奔中,大模型的發(fā)展階段已經(jīng)從“通用”邁入“垂類(lèi)”。
(資料圖片)
算力、大規(guī)模數(shù)據(jù)、高成本人才成為大部分企業(yè)入局通用大模型的攔路虎。但深度定制、廣闊的場(chǎng)景應(yīng)用等訴求,催生了國(guó)內(nèi)垂直領(lǐng)域大模型的開(kāi)發(fā)。
近兩個(gè)月來(lái),不少醫(yī)療、金融、教育、繪畫(huà)等行業(yè)內(nèi)擁有用戶(hù)數(shù)據(jù)積累的中小型企業(yè),已開(kāi)始基于國(guó)內(nèi)外大模型“底座”,訓(xùn)練適配自身的垂類(lèi)模型。同時(shí),已發(fā)布通用大模型的公司,也推出了針對(duì)特有行業(yè)的模型。
如果說(shuō)通用大模型是大模型發(fā)展的初期階段,那么垂直場(chǎng)景應(yīng)用則可以視作其“中場(chǎng)戰(zhàn)事”,在該階段,應(yīng)用與場(chǎng)景先行,倒逼垂直領(lǐng)域的大模型飛躍發(fā)展,并率先在不同產(chǎn)業(yè)中實(shí)現(xiàn)了落地價(jià)值。
路線分化
短短兩個(gè)月,分化已經(jīng)出現(xiàn)。
在5月23日舉辦的文心大模型技術(shù)交流會(huì)上,百度智能云AI與大數(shù)據(jù)平臺(tái)總經(jīng)理忻舟介紹:“文心千帆大模型平臺(tái),是百度提供給客戶(hù)的企業(yè)級(jí)大模型生產(chǎn)平臺(tái),不但提供包括文心一言在內(nèi)的大模型服務(wù)及第三方大模型服務(wù),還提供大模型開(kāi)發(fā)和應(yīng)用的整套工具鏈?!?/p>
即文心千帆可以文心一言為核心,提供大模型服務(wù),幫助客戶(hù)改造產(chǎn)品和生產(chǎn)流程;企業(yè)也可以在文心千帆上基于任何開(kāi)源或閉源的大模型,開(kāi)發(fā)自己的專(zhuān)屬大模型。
多位接受全天候科技采訪的業(yè)內(nèi)人士認(rèn)為,當(dāng)前國(guó)內(nèi)大模型賽道主要包括三類(lèi):一類(lèi)對(duì)標(biāo)GPT的通用大模型,聚焦基礎(chǔ)層的公司;一類(lèi)是在開(kāi)源大模型基礎(chǔ)之上訓(xùn)練垂類(lèi)大模型,聚焦垂直行業(yè)的企業(yè);另一類(lèi)則是專(zhuān)注具體應(yīng)用的純應(yīng)用公司。
“剛開(kāi)始大家是一窩蜂扎進(jìn)通用大模型,現(xiàn)在分化已經(jīng)出現(xiàn),不管是分化到具體行業(yè)的,還是不做研發(fā)直接調(diào)用接口做產(chǎn)品運(yùn)營(yíng)的,這個(gè)趨勢(shì)是越來(lái)越清晰了?!鼻敖鹕杰浖笨偛眉嫒斯ぶ悄苁聵I(yè)部負(fù)責(zé)人、現(xiàn)AI領(lǐng)域創(chuàng)業(yè)者李長(zhǎng)亮告訴全天候科技。
通用大模型面臨算力需求大、訓(xùn)練和推理成本高、數(shù)據(jù)質(zhì)量不佳等挑戰(zhàn)。一個(gè)成功的且可對(duì)外商業(yè)化輸出的通用大模型大模型,要求廠商擁有全棧大模型訓(xùn)練與研發(fā)能力、業(yè)務(wù)場(chǎng)景落地經(jīng)驗(yàn)、AI安全治理舉措、以及生態(tài)開(kāi)放性等核心優(yōu)勢(shì)。
在百度智能云副總裁朱勇看來(lái),基礎(chǔ)模型(通用大模型)的公司可能“只有那么幾家”,但是上面會(huì)長(zhǎng)出很多專(zhuān)業(yè)領(lǐng)域的大模型。
“訓(xùn)練一個(gè)基礎(chǔ)模型,成本是非常高的,做一個(gè)千億級(jí)的大模型,需要單機(jī)群萬(wàn)卡以上的算力?!敝煊抡f(shuō),從國(guó)內(nèi)外來(lái)看,真正做通用模型的公司并沒(méi)有那么多。相反,訓(xùn)練領(lǐng)域(垂類(lèi))模型所需要的代價(jià)和資源遠(yuǎn)遠(yuǎn)小于從零開(kāi)始做通用模型。
因而,從商業(yè)邏輯的角度來(lái)看,大部分公司不具備做通用大模型的能力,巨頭更適合做通用大模型,擁有豐富場(chǎng)景數(shù)據(jù)積累的公司更適合做垂域模型。
垂類(lèi)大模型以深度解決行業(yè)需求為主,即企業(yè)在自己擅長(zhǎng)的領(lǐng)域訓(xùn)練適合自己的“產(chǎn)業(yè)版GPT”。這類(lèi)大模型生成的內(nèi)容更符合特定垂類(lèi)場(chǎng)景的需求,質(zhì)量更高。
當(dāng)前,已經(jīng)可以看到不少垂類(lèi)模型應(yīng)用在金融、醫(yī)療、交易等場(chǎng)景中。比如,彭博社根據(jù)自身豐富的金融數(shù)據(jù)資源,基于GPT-3框架再訓(xùn)練,開(kāi)發(fā)出了金融專(zhuān)屬大模型BloombergGPT。
除了上述兩種常見(jiàn)的模式,目前國(guó)內(nèi)大模型創(chuàng)業(yè)賽道上還有一種專(zhuān)做應(yīng)用的公司,它們沒(méi)有研發(fā)團(tuán)隊(duì),從現(xiàn)有大模型調(diào)用接口,做產(chǎn)品和運(yùn)營(yíng)。
通用VS 垂域
布局通用大模型的巨頭,需要的是生態(tài)。所以百度、阿里都希望成為“大模型的底座”去賦能行業(yè)與企業(yè)。但并不是所有企業(yè)都有這樣的能力。
“現(xiàn)有大模型的算力和能耗挑戰(zhàn)會(huì)促使很多工作向領(lǐng)域?qū)S没⑤p量化的大模型方向發(fā)展,特別是金融、教育、醫(yī)療、交通等領(lǐng)域,大量的工作在試圖降低大模型的成本?!痹谌涨芭e行的第六屆數(shù)字中國(guó)建設(shè)峰會(huì)上,中國(guó)科學(xué)院自動(dòng)化研究所副所長(zhǎng)曾大軍表示。
相比通用大模型需要高昂的開(kāi)發(fā)訓(xùn)練成本,基于開(kāi)源模型進(jìn)行垂類(lèi)模型開(kāi)發(fā)可兼顧開(kāi)發(fā)成本和數(shù)據(jù)安全。
事實(shí)上,挑戰(zhàn)之外,實(shí)際的場(chǎng)景需求也加快了大模型垂類(lèi)化的過(guò)程。
“中國(guó)擅長(zhǎng)商業(yè)模式、應(yīng)用上的創(chuàng)新?!币晃籄I領(lǐng)域創(chuàng)業(yè)者說(shuō),與此同時(shí),國(guó)內(nèi)不乏AI模型的落地場(chǎng)景、豐富的數(shù)據(jù),以及追風(fēng)口的熱情。因而,短短兩個(gè)月時(shí)間,大模型領(lǐng)域化的發(fā)展飛速。
以百度文心千帆這個(gè)“AI大模型底座”為例,當(dāng)前正在共同測(cè)試研發(fā)的企業(yè)通常來(lái)自信息化和技術(shù)普及率較高的行業(yè),如金融行業(yè)、能源行業(yè)、泛互聯(lián)網(wǎng)行業(yè)等。
“垂類(lèi)模型是在通用大模型基礎(chǔ)上訓(xùn)練的,撇開(kāi)通用大模型的話(huà),是不存在垂類(lèi)模型的。”忻舟說(shuō),垂類(lèi)模型強(qiáng)調(diào)領(lǐng)域的know-how,對(duì)于特定領(lǐng)域來(lái)說(shuō),需要針對(duì)該領(lǐng)域的任務(wù)做指令學(xué)習(xí)。
行業(yè)不同,場(chǎng)景不同,指令學(xué)習(xí)的區(qū)別也極大。比如,泛互聯(lián)網(wǎng)行業(yè)更關(guān)注營(yíng)銷(xiāo)、推薦的效果,金融更領(lǐng)域更關(guān)注風(fēng)控、可信、以及營(yíng)銷(xiāo)的效果。
在李長(zhǎng)亮看來(lái),垂類(lèi)大模型與通用大模型*的區(qū)別在于:垂類(lèi)大模型在資源投入、成本投入等方面的要求下降了,但額外要求是行業(yè)known-how,即對(duì)這個(gè)行業(yè)的knowledge要求提高了。
表現(xiàn)在數(shù)據(jù)方面,在特定的垂直領(lǐng)域,企業(yè)擁有私有數(shù)據(jù),這是別的企業(yè)花錢(qián)也買(mǎi)不到的核心競(jìng)爭(zhēng)力和天然優(yōu)勢(shì)。
表現(xiàn)在算力上,通過(guò)通用大模型微調(diào)實(shí)現(xiàn)的垂類(lèi)大模型相較通用大模型是“幾何級(jí)別的下降”。
根據(jù)國(guó)金證券的測(cè)算,在模型微調(diào)階段,由于訓(xùn)練量級(jí)較小,僅為萬(wàn)級(jí),相關(guān)的算力成本相比之下可忽略不計(jì)。
以斯坦福大學(xué)于2023年3月發(fā)布Alpaca為例,這是一個(gè)基于LLaMA-7B基座,應(yīng)用5.2萬(wàn)指令對(duì)模型微調(diào)訓(xùn)練而來(lái)的對(duì)話(huà)類(lèi)語(yǔ)言模型。該模型基于8塊A100微調(diào),微調(diào)時(shí)長(zhǎng)3小時(shí),算力成本不超過(guò)300元。
當(dāng)然,并不是所有企業(yè)都可以在通用大模型的基礎(chǔ)上做微調(diào)。
以百度文心千帆為例,要在該平臺(tái)上通過(guò)微調(diào)做自己的大模型需具備兩個(gè)條件:企業(yè)有沒(méi)有高質(zhì)量的數(shù)據(jù)存下來(lái);能否將自身業(yè)務(wù)根據(jù)對(duì)生成式AI的理解變成高質(zhì)量的數(shù)據(jù),變成指定數(shù)據(jù)做指定微調(diào)。
換言之,落地在企業(yè)端,那些有海量行業(yè)數(shù)據(jù)、懂行業(yè)know-how的企業(yè),做成垂類(lèi)模型的機(jī)會(huì)更大。
“因?yàn)橛袑?zhuān)業(yè)的數(shù)據(jù)、有行業(yè)know-how,結(jié)合不同類(lèi)型的領(lǐng)域模型,這些領(lǐng)域模型將來(lái)會(huì)非常繁榮,支撐上層非常繁榮的領(lǐng)域應(yīng)用?!敝煊抡f(shuō)。
“兩條腿”走路
“GPT+行業(yè)專(zhuān)家系統(tǒng)”的模式產(chǎn)生了新的垂直領(lǐng)域大模型。
大模型*的價(jià)值在于革新商業(yè)模式,改造商業(yè)組織的每一個(gè)環(huán)節(jié),進(jìn)而起到降本增效的效果。這也是企業(yè)紛紛入局大模型的原因所在。
而Meta旗下LLaMA模型等大模型的開(kāi)源為垂類(lèi)模型的發(fā)展裝上了加速器。
公開(kāi)信息顯示,LLaMA基于通用領(lǐng)域的開(kāi)源數(shù)據(jù)集進(jìn)行訓(xùn)練,訓(xùn)練數(shù)據(jù)涵蓋40種語(yǔ)言,包含約1.4萬(wàn)億Tokens。LLaMA模型一經(jīng)發(fā)布就對(duì)外完全開(kāi)源,吸引了廣大AI開(kāi)發(fā)者。
作為完全開(kāi)源的*模型,LLaMA具備高度的靈活性、可配置性和泛化能力,可以作為垂類(lèi)AI模型的通用基座。
盡管LLaMA模型參數(shù)量較小,但性能絲毫不遜色于PaLM、GPT-3等大語(yǔ)言模型。并且較小的參數(shù)規(guī)模顯著降低了LLaMA模型的落地部署和二次開(kāi)發(fā)難度。
“基于LLaMA這種開(kāi)源模型,我們喂自己的數(shù)據(jù),慢慢調(diào)試,就能調(diào)試出我想要的效果來(lái)?!币晃籄IGC領(lǐng)域的創(chuàng)業(yè)者告訴全天候科技。
全天候科技了解到,當(dāng)下不少企業(yè)采用的是“兩條腿走路”的策略,即:一邊接入大模型API,一邊在開(kāi)源模型上煉模型,兩者構(gòu)成反饋鏈,加速各自能力的提升,打造創(chuàng)新閉環(huán)。
“調(diào)用API接口也是一個(gè)獲取數(shù)據(jù)資源的有效手段。”李長(zhǎng)亮說(shuō),這部分?jǐn)?shù)據(jù)將來(lái)可能在企業(yè)訓(xùn)練模型的時(shí)候起作用。
在不少業(yè)內(nèi)人士看來(lái),對(duì)于各行各業(yè)來(lái)說(shuō),垂直大模型是一種全新的生產(chǎn)力,各個(gè)行業(yè)的垂直領(lǐng)域大模型對(duì)所在行業(yè)可能產(chǎn)生重大甚至是顛覆性的影響。
值得一提的是,在一級(jí)市場(chǎng)上,專(zhuān)注于垂類(lèi)大模型的創(chuàng)業(yè)公司也是投資機(jī)構(gòu)眼中的“寶藏”。
在不久前召開(kāi)的2023中國(guó)投資年會(huì)上,天堂硅谷高級(jí)合伙人王偉將“垂直領(lǐng)域大模型,掌握行業(yè)數(shù)據(jù)、懂行業(yè)Know-how的項(xiàng)目”列為其重點(diǎn)投資布局的領(lǐng)域之一。
關(guān)鍵詞:
相關(guān)閱讀
-
國(guó)內(nèi)大模型迎來(lái)中場(chǎng)戰(zhàn)事
由互聯(lián)網(wǎng)和科技界掀起的大模型浪潮,迎來(lái)了新戰(zhàn)事。自今年3月以來(lái),... -
紫金礦業(yè)是國(guó)企嗎?紫金礦業(yè)為什么招這...
紫金礦業(yè)是國(guó)企嗎?紫金礦業(yè)是國(guó)企。紫金礦業(yè)全稱(chēng)紫金礦業(yè)集團(tuán)有限公... -
營(yíng)業(yè)賬簿印花稅怎么算?資金賬簿和營(yíng)業(yè)...
營(yíng)業(yè)賬簿印花稅怎么算?1 營(yíng)業(yè)賬簿印花稅=(實(shí)收資本 資本公積)*萬(wàn)... -
世界觀焦點(diǎn):創(chuàng)新驅(qū)動(dòng) 開(kāi)啟新“鋁”程...
圖①:廣西平果經(jīng)濟(jì)技術(shù)開(kāi)發(fā)區(qū)一家企業(yè)的鋁型材加工車(chē)間?! ≠Y料... -
多措并舉推動(dòng)新能源汽車(chē)下鄉(xiāng)(政策解讀)
日前,國(guó)家發(fā)展改革委聯(lián)合國(guó)家能源局印發(fā)《關(guān)于加快推進(jìn)充電基礎(chǔ)設(shè)... -
即時(shí):推動(dòng)各地打造小吃產(chǎn)業(yè)集群
本報(bào)福州5月24日電(記者王珂、付文)由商務(wù)部主辦的小吃產(chǎn)業(yè)發(fā)展現(xiàn)... -
世界今日?qǐng)?bào)丨內(nèi)蒙古新增新能源并網(wǎng)裝機(jī)5...
本報(bào)呼和浩特5月24日電(記者張棖)記者從內(nèi)蒙古自治區(qū)能源局獲悉:... -
從電力數(shù)據(jù)積極信號(hào)看經(jīng)濟(jì)復(fù)蘇向好態(tài)勢(shì)
電力數(shù)據(jù)是反映經(jīng)濟(jì)運(yùn)行的“晴雨表”和“風(fēng)向標(biāo)”。今年以來(lái),隨著... -
全球即時(shí)看!18888元求購(gòu)一張票,五月天...
五月天演唱會(huì)在即,網(wǎng)上“求票”的人多了起來(lái)。社交媒體上的留言從... -
亞行首席經(jīng)濟(jì)學(xué)家:中國(guó)在亞太價(jià)值鏈中...
亞洲開(kāi)發(fā)銀行(亞行)首席經(jīng)濟(jì)學(xué)家樸之水近日在接受新華社記者專(zhuān)訪... -
CRS和ATM的區(qū)別是什么?crs對(duì)應(yīng)國(guó)標(biāo)什么材料?
CRS和ATM的區(qū)別是什么?1、CRS指的是把存款和取款匯集在一起的機(jī)器,... -
當(dāng)前短訊!多所高校發(fā)布公務(wù)接待最新餐...
公務(wù)接待中,各地的餐費(fèi)標(biāo)準(zhǔn)都是多少?近期,國(guó)內(nèi)多所高校發(fā)布的《... -
金融行業(yè)都包括哪些行業(yè)?金融行業(yè)還有...
金融行業(yè)都包括哪些行業(yè)?金融行業(yè)主要包括銀行業(yè)、保險(xiǎn)業(yè)、信托業(yè)、... -
股票指數(shù)有什么用?編制綜合指數(shù)的基本...
股票指數(shù)有什么用?指數(shù)選取了市場(chǎng)中具有代表性的一些股票,因此有了... -
均線的簡(jiǎn)單應(yīng)用是什么?均線金叉哪些最...
均線的簡(jiǎn)單應(yīng)用是什么?1、如何在走勢(shì)圖看均線添加均線:首先要把界... -
股市中的跌停就是一直在下跌嗎?大盤(pán)歷...
股市中的跌停就是一直在下跌嗎?這個(gè)是因?yàn)槭袌?chǎng)前期比較強(qiáng)勢(shì),會(huì)導(dǎo)致... -
倪夏蓮續(xù)寫(xiě)傳奇故事
“應(yīng)該是,可能還要多一次,我也不知道,差不多,從來(lái)沒(méi)想過(guò)這個(gè)事... -
睫毛膏洗不掉怎么辦_睫毛膏洗不掉怎么回...
想必現(xiàn)在有很多小伙伴對(duì)于睫毛膏洗不掉怎么回事方面的知識(shí)都比較想... -
焦點(diǎn)信息:新時(shí)代新征程新偉業(yè) | 河...
今年以來(lái),內(nèi)鄉(xiāng)縣圍繞“文旅名縣”建設(shè),采取得力措施,以高品質(zhì)的... -
【當(dāng)前獨(dú)家】南陽(yáng)市組織16余萬(wàn)臺(tái)(套)...
隨著部分縣(市區(qū))小麥陸續(xù)成熟,南陽(yáng)市已開(kāi)鐮收割。截止到5月24日...