ChatGPT啟示錄系列|萬字長文解碼全球AI大模型現(xiàn)狀
作者|羅輯 來源|自象限(ID:zixiangxian)
ChatGPT在全球掀起AI大模型的浪潮。
在美國,以O(shè)penAI、Anthropic等初創(chuàng)企業(yè)和以微軟、Google為代表的科技巨頭帶領(lǐng)著美國在AI大模型的道路上蒙眼狂奔,最大參數(shù)已卷到5620億。在中國,美團(tuán)王慧文、阿里賈揚(yáng)清、前搜狗CEO王小川、前京東AI掌門人周伯文等眾多早已功成名就的科技大佬再次披掛。
AI大模型一時(shí)間如烈火烹油。
但在這一輪浪潮中, 大家主要關(guān)注的還是中美兩國的進(jìn)展。在此之外,世界其他國家和地區(qū)如何看待AI大模型,在發(fā)展大模型上又進(jìn)展如何,不同國家和地區(qū)的AI大模型發(fā)展呈現(xiàn)出哪些特點(diǎn)?這些問題在中美的光環(huán)下其實(shí)是失焦的。
所謂它山之石可以攻玉,在這樣的背景下,「自象限」梳理了包括中國、美國、韓國、日本和歐洲等主要國家AI大模型的發(fā)展現(xiàn)狀。
我們發(fā)現(xiàn),一方面,不同國家AI大模型的發(fā)展與所在國的互聯(lián)網(wǎng)發(fā)展息息相關(guān);另一方面,包括芯片、云計(jì)算、高質(zhì)量數(shù)據(jù)等產(chǎn)業(yè)基礎(chǔ),模型構(gòu)架和算法經(jīng)驗(yàn),以及用戶群體、社會(huì)文化又共同決定了所在國家AI大模型的發(fā)展高度。
就如同比爾?蓋茨將ChatGPT的發(fā)布比做互聯(lián)網(wǎng)的發(fā)明,并認(rèn)為它可以改變世界一樣,英偉達(dá)CEO黃仁勛也在GTC2023上三次提到“AI迎來iPhone時(shí)刻”。AI大模型是全世界的機(jī)會(huì),而中國創(chuàng)業(yè)者更不應(yīng)該存在視野盲區(qū)。
將視野拉遠(yuǎn)便會(huì)發(fā)現(xiàn),各國大模型都繼承了本國“基因”,前二十年互聯(lián)網(wǎng)與科技積累的成果,也都在AI 2.0的大考下,瞬間爆發(fā)。有人交了滿分答卷,也有人名落孫山。
一
美國:有多強(qiáng)悍,就有多寂寞
美國在AI大模型方面的強(qiáng),不是現(xiàn)在強(qiáng),而是一直以來都很強(qiáng)。
從2012年AI萌芽時(shí)期,到2016年AI1.0時(shí)期,再到2022年ChatGPT帶來的AI2.0時(shí)期,美國一直是AI領(lǐng)域的破局者,引領(lǐng)著全世界AI發(fā)展再進(jìn)一步。
比如現(xiàn)在幾乎所有AI大模型訓(xùn)練時(shí)采用的Transformer網(wǎng)絡(luò)結(jié)構(gòu),是谷歌在2017年提出的,它具有優(yōu)秀的長序列處理能力,更高的并行計(jì)算效率,無需手動(dòng)設(shè)計(jì)以及更強(qiáng)的語義表達(dá)能力等特征。Transformer的提出讓大模型訓(xùn)練成為可能。
算力是保證AI大模型出現(xiàn)在美國的另一個(gè)關(guān)鍵,而美國一手云大廠,一手英偉達(dá),手握著全球算力的核心資源。
云計(jì)算能夠?yàn)锳I大模型訓(xùn)練提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和應(yīng)用平臺(tái),同時(shí)也提供數(shù)據(jù)處理、模型部署、推理等AI工具和服務(wù)。讓企業(yè)能夠快速訓(xùn)練大模型,而不用再花費(fèi)你大量時(shí)間和金錢去建立和維護(hù)自己的數(shù)據(jù)中心。
目前,美國擁有世界上最大的云計(jì)算企業(yè)。IDC數(shù)據(jù)顯示,2021年全球IaaS市場(chǎng)中,包括亞馬遜、微軟、谷歌、IBM在內(nèi)的美國企業(yè)合計(jì)占比近70%。而美國最具代表性的AI大模型初創(chuàng)企業(yè),無論是OpenAI還是Anthropic都接受了微軟和谷歌這樣的云大廠投資。這背后除了資金支持外,更重要的原因還在于背后的云計(jì)算資源。
算力的另一個(gè)維度是芯片,高性能的芯片可以提供更加高效的計(jì)算能力,從而加速訓(xùn)練過程。
速度有多快呢?2016年,黃仁勛親手將世界第一臺(tái)DGX-1(英偉達(dá)計(jì)算平臺(tái))捐獻(xiàn)給了OpenAI,DGX-1是3000人花費(fèi)3年時(shí)間才研發(fā)出來的首個(gè)輕量化的小型超算,計(jì)算和吞吐能力相當(dāng)于 250臺(tái)傳統(tǒng)服務(wù)器。有了DGX-1,OpenAI之前一年的計(jì)算量只要一個(gè)月就能完成。
而目前為止,英偉達(dá)的A100芯片仍然是唯一能夠在云端實(shí)際執(zhí)行任務(wù)的GPU芯片。最近的GTC2023上,黃仁勛又更新了新芯片H100的進(jìn)度。H100配有Transformer引擎,可以專門用作處理類似ChatGPT的AI大模型,由其構(gòu)建的服務(wù)器效率是A100的十倍。
可以說,在AI大模型領(lǐng)域,目前的美國就是妥妥的“別人家孩子”,這也導(dǎo)致目前行業(yè)最具代表性的AI大模型都集中在美國。
比如OpenAI最新發(fā)布的多模態(tài)預(yù)訓(xùn)練大模型GPT-4,谷歌最新推出“通才”大模型PaLM-E,擁世界最大規(guī)模的5620億參數(shù),能看圖說話、能操控機(jī)器人,以及剛剛解決AI繪畫手指問題的Midjourney等等。
但在快速發(fā)展的過程中,美國業(yè)界對(duì)于AI大模型也持激進(jìn)和保守兩種不同的態(tài)度。
其中,微軟支持的OpenAI在推動(dòng)大模型落地時(shí)就更加激進(jìn)。根據(jù)OpenAI關(guān)于GPT-4的安全文檔,OpenAI曾在發(fā)布GPT-4前聘請(qǐng)安全專家進(jìn)行測(cè)試。
OpenAI在文檔中寫道:“GPT-4表現(xiàn)出一些特別令人擔(dān)憂的能力,例如制定和實(shí)施長期計(jì)劃的能力,積累權(quán)力和資源(尋求權(quán)力),以及表現(xiàn)出越來越‘代理’的行為。”因此有安全專家建議將 GPT-4 的部署時(shí)間推遲 6 個(gè)月,到今年秋季再發(fā)布,但OpenAI并沒有采納這份建議。
而另一方面,在ChatGPT發(fā)布之后,谷歌曾表示自己已經(jīng)具備相似能力的AI大模型,但基于安全考慮并沒有及時(shí)推向市場(chǎng)。包括OpenAI創(chuàng)始人Sam Altman和馬斯克都曾多次在公開場(chǎng)合表達(dá)了對(duì)AI大模型和人工智能的擔(dān)憂,表示應(yīng)該更謹(jǐn)慎地對(duì)待大模型的市場(chǎng)化。
目前由谷歌投資的,能夠?qū)?biāo)OpenAI的另一家AI初創(chuàng)公司Anthropic其實(shí)就是因?yàn)檫@樣的理念不同,而從OpenAI出走并自立門戶的。
當(dāng)然,在激烈的市場(chǎng)競爭下,即使曾經(jīng)相對(duì)謹(jǐn)慎的谷歌也似乎忘記了這條擔(dān)憂,并在3月7日?qǐng)?bào)復(fù)性砸出5620億參數(shù)大模型,甚至能夠控制機(jī)器人運(yùn)動(dòng)。
目前,以微軟和OpenAI為代表,美國AI大模型正在積極推動(dòng)產(chǎn)業(yè)應(yīng)用。微軟早在2月份就宣布將會(huì)在全線產(chǎn)品接入ChatGPT,并以幾乎一周一個(gè)產(chǎn)品的速度向外更新。
從New Bing到加入最新功能Copilot的Microsoft Teams正在攪動(dòng)全球的產(chǎn)業(yè)變革。
二
日本:錯(cuò)過互聯(lián)網(wǎng),錯(cuò)過云,錯(cuò)過AI
如果說美國是最厲害的大模型“老炮”,那日本可能就要淪為這次排名的“吊車尾”。
日本的落后其實(shí)要從上個(gè)互聯(lián)網(wǎng)時(shí)代講起。我們盤點(diǎn)世界AI大模型領(lǐng)域的關(guān)鍵角色會(huì)發(fā)現(xiàn),無論是中國的BAT,韓國的Naver,還是美國的谷歌、亞馬遜,他們都是互聯(lián)網(wǎng)時(shí)代的巨頭。
一方面,這些企業(yè)通過互聯(lián)網(wǎng)業(yè)務(wù)積累了大量的高質(zhì)量數(shù)據(jù);另一方面,他們?cè)谧陨順I(yè)務(wù)推動(dòng)下建立了完整的云計(jì)算體系。但盤點(diǎn)之后我們發(fā)現(xiàn),整個(gè)日本既沒有叫得出名字的互聯(lián)網(wǎng)巨頭,也沒有拿得出手的云計(jì)算廠商。
目前,日本的即時(shí)通訊軟件來自韓國的LINE,云計(jì)算業(yè)務(wù)也被美國企業(yè)長期把持。
2022年,日本云計(jì)算市場(chǎng)份額約占全球的4%,排名第四。但日本云計(jì)算市場(chǎng)的主要競爭者卻是美國的三大云巨頭亞馬遜、微軟和谷歌,它們?cè)谌毡镜氖袌?chǎng)占有率已經(jīng)達(dá)到60%~70%。
除此之外,日本其實(shí)還面臨許多其他問題,比如由于半導(dǎo)體產(chǎn)業(yè)的衰落,讓日本在本應(yīng)成為最大優(yōu)勢(shì)的AI芯片領(lǐng)域缺位;比如作為一個(gè)小語種國家,日語面臨和中文一樣缺乏語料的問題
在這樣的背景下,日本在AI時(shí)代其實(shí)早就喪失了自主權(quán)。所以我們盤點(diǎn)日本的AI大模型,會(huì)發(fā)現(xiàn)它們大多具有美國或者韓國色彩。
比如日本最早公開上線的NLP大模型是2020年發(fā)布的NTELLILINK Back Office NLP,當(dāng)時(shí)它能實(shí)現(xiàn)如文檔分類、知識(shí)閱讀理解、自動(dòng)總結(jié)等功能。但NTELLILINK Back Office是在谷歌BERT基礎(chǔ)上開發(fā)的應(yīng)用,就像中國許多基于GPT-3開發(fā)的應(yīng)用一樣。
更有日本血統(tǒng)的生成式AI其實(shí)是HyperCLOVA、Rinna 和 ELYZA Pencil,但其中HyperCLOVA 和 Rinna 也都有外國基因。
其中,HyperCLOVA最早是韓國搜索巨頭NAVER在2021年推出的,其日本版是由NAVER和其子公司LINE(韓國軟件在日本經(jīng)營)一起研發(fā)。但HyperCLOVA確實(shí)是第一個(gè)專門針對(duì)日語的大語言模型,其通過爬取日本的博客服務(wù)來獲取訓(xùn)練數(shù)據(jù),并在2021年舉行的對(duì)話系統(tǒng)現(xiàn)場(chǎng)比賽中獲得了所有賽道的第一名。
基于HyperCLOVA,LINE也推出許多應(yīng)用,比如聊天機(jī)器人CLOVA Chatbot、圖像識(shí)別CLOVA OCR和科洛瓦演講CLOVA Speech等等。HyperCLOVA擁有820億參數(shù),目前正計(jì)劃通過超100億頁的日文數(shù)據(jù)作為學(xué)習(xí)數(shù)據(jù)將模型規(guī)模擴(kuò)大到1750億。
▲ 圖源日本版HyperCLOVA官網(wǎng)
日本的另一個(gè)AI大模型Rinna則與微軟有關(guān),Rinna最早是微軟日本研發(fā)的一款聊天機(jī)器人,類似于國內(nèi)的小冰(之前叫微軟小冰,目前已獨(dú)立運(yùn)營)。
2021年8月,Rinna發(fā)布了一個(gè)名為GPT2-medium的模型,然后又在次年推出了日本版的GPT-2,參數(shù)達(dá)到13億。日語版GPT-2與GPT-2的區(qū)別在于,GPT-2采用的是英文語料,而日語版GPT-2是基于日語語料訓(xùn)練。
▲ 圖源日本Rinna官網(wǎng)
目前,Rinna的日語版GPT-2和HyperCLOVA已經(jīng)是日本參數(shù)規(guī)模最大,最具代表性的大模型了。
當(dāng)然,日本也有一些真正土生土長的大模型,比如2022年3月,由東京大學(xué)松尾研究所的AI初創(chuàng)公司 ELYZA Co., Ltd.推出大語言模型,它以產(chǎn)品“ELYZA Pencil”的方式推向市場(chǎng)。輸入幾個(gè)關(guān)鍵字,ELYZA Pencil可以在大約 6 秒內(nèi)創(chuàng)建三種類型的日語新聞報(bào)道、電子郵件或簡歷。
▲ 圖源ELYZA Pencil官網(wǎng)
所以算起來,ELYZA Pencil才算真正意義上日本首次公開發(fā)布的生成式AI產(chǎn)品,但僅有ELYZA Pencil顯然很難成為全村的希望。
日本政府其實(shí)也在想辦法扭轉(zhuǎn)這種局面,比如2022年5月,日本政府計(jì)劃將云計(jì)算服務(wù)列為涉及國家安全的“特定重要物資”,并將加強(qiáng)日本本國的“國產(chǎn)云”,但執(zhí)行下來其實(shí)收效甚微。
畢竟無論是互聯(lián)網(wǎng)還是云計(jì)算都是規(guī)模經(jīng)濟(jì),需要有足夠的市場(chǎng)容量才能產(chǎn)生經(jīng)濟(jì)效益。這也導(dǎo)致日本互聯(lián)網(wǎng)和云計(jì)算無論是在全球市場(chǎng),還是在本土市場(chǎng)都缺乏充足的成長空間。
但即便如此,日本市場(chǎng)也在積極做著大模型的應(yīng)用的研究。
比如2022年5月,東京大學(xué)和 Google Brain 的一個(gè)研究團(tuán)隊(duì)發(fā)布了論文《Large Language Models are Zero-Shot Reasoners》,解決了大模型0樣本學(xué)習(xí)的部分問題。
而在日本的互聯(lián)網(wǎng)上,日本網(wǎng)友也在積極調(diào)用GPT-3的API,嘗試開發(fā)自己的獨(dú)特應(yīng)用。此外,在剛剛舉行的英偉達(dá)GTC 2023上,英偉達(dá)與日本三菱聯(lián)合打造了日本第一臺(tái)用于加速藥研的生成式AI超級(jí)計(jì)算機(jī)。
三
韓國:只有財(cái)閥巨頭,沒有初創(chuàng)公司
沒想到的是,一直被日本看不上的韓國,在大模型領(lǐng)域反而比日本跑得更快些。
事實(shí)上,韓國是最早加入AI大模型研發(fā)的國家之一,但韓國的AI大模型這個(gè)國家的經(jīng)濟(jì)一樣,只有財(cái)閥的身影,沒有初創(chuàng)公司的故事。目前,韓國在大模型領(lǐng)域的代表只有互聯(lián)網(wǎng)巨頭Naver和Kakao,移動(dòng)運(yùn)營商巨頭KT和SKT,以及通信巨頭LG。
除了財(cái)閥唱主角之外,緊跟美國步伐也是他們的一個(gè)重要特點(diǎn)。
比如在GPT-3的應(yīng)用上,2020年OpenAI發(fā)布GPT-3的論文,韓國企業(yè)在2021年就推出了相應(yīng)產(chǎn)品,反應(yīng)速度比中國更快。這種緊跟在AI方面也是如此,2020年谷歌、亞馬遜等美國巨頭開始推出AI加速芯片時(shí),SKT就同步推出了自主研發(fā)的AI加速芯片SAPEON X220。
韓國在芯片半導(dǎo)體方面的積累也放大了它在AI大模型方面的優(yōu)勢(shì)。目前韓國企業(yè)正在和半導(dǎo)體企業(yè)積極結(jié)盟,以應(yīng)對(duì)大模型發(fā)展帶來的算力挑戰(zhàn)。
比如2022年底,Naver就開始和三星電子合作開發(fā)下一代人工智能芯片解決方案,該解決方案基于Naver推出的AI大模型Hyperclova進(jìn)行優(yōu)化,目前開發(fā)已進(jìn)入最后階段。
同年,KT公司也對(duì)芯片設(shè)計(jì)公司 Rebellions Inc.進(jìn)行了戰(zhàn)略投資,這是一家位于韓國本土的AI初創(chuàng)公司,在專用芯片方面擁有獨(dú)特的技術(shù)。Rebellions將為KT公司優(yōu)化MI:DEUM,并推動(dòng)其商業(yè)化。
除此之外,KT公司還投資了AI初創(chuàng)公司Moreh,并計(jì)劃在今年推出一套韓國的半導(dǎo)體,其效率可能是現(xiàn)在半導(dǎo)體的三倍以上。KT希望通過這種方式,全面進(jìn)入目前由英偉達(dá)主導(dǎo)的AI半導(dǎo)體市場(chǎng)。
第三點(diǎn),則是韓國在AI大模型的垂類應(yīng)用已經(jīng)有比較多的探索。比如KoGPT在醫(yī)療保健方面的應(yīng)用,Exaone在生物醫(yī)藥和智能制造方面的應(yīng)用等等。
整體上看,韓國的AI大模型在基礎(chǔ)設(shè)施方面非常完善,比如在算力方面有三星電子,SKT等半導(dǎo)體巨頭;互聯(lián)網(wǎng)方面有Naver和Kakao這樣的標(biāo)桿企業(yè),這些特點(diǎn)都讓韓國能在AI大模型的發(fā)展浪潮中走在世界前列,并推出了一系列具有代表性的AI大模型。
比如前面提到,韓國最大的搜索公司Naver在2021年推出了HyperCLOVA,韓國版的 HyperCLOVA 擁有2040億參數(shù),比GPT-3還要多290億,且其中97%使用的是韓文語料。
目前,Naver已計(jì)劃在今年上半年基于HyperCLOVA推出Search GPT(類似微軟New Bing)并在7月份推出HyperCLOVA X,這是HyperCLOVA 的最新版本。
▲ 圖源韓國版HyperCLOVA架構(gòu)
同樣是在2021年,韓國另一家互聯(lián)網(wǎng)巨頭Kakao 旗下的AI研究部門Kakao Brain發(fā)布了一個(gè)基于GPT-3的KoGPT,之后Kakao Brain又將KoGPT更新至GPT-3.5,實(shí)現(xiàn)與 ChatGPT使用相同版本的預(yù)訓(xùn)練大模型。Kakao Brain 首席技術(shù)官 Kim Kwang-seob 表示:“KoGPT將專注于開發(fā)基于 AI 的圖像創(chuàng)建技術(shù)和醫(yī)療保健技術(shù)。”
Kakao Brain在KoGPT之外還推出了基于人工智能的圖像生成器 Karlo,BEDIT和BDiscover,類似于stable diffusion。
▲ 圖源KoGPT研發(fā)團(tuán)隊(duì) 圖源Kakao Brain官網(wǎng)
2022年5月,SKT推出了基于GPT-3的聊天機(jī)器人A.的測(cè)試版,用來處理客戶的特定任務(wù)。目前,A.在韓國已經(jīng)獲得了100萬用戶,并計(jì)劃在今年推出正式版。
2022年12月,LG集團(tuán)的人工智能智庫LG AI Research 推出了Exaone。這是一個(gè)擁有3000億參數(shù),使用圖像和文本數(shù)據(jù)的多模態(tài)模型,也是目前韓國參數(shù)規(guī)模最大的模型。Exaone應(yīng)用在生物醫(yī)藥和智能制造方面,有助于加速抗癌疫苗和創(chuàng)新電池的開發(fā)。
▲ 圖源Exaone在電池產(chǎn)業(yè)和生物醫(yī)藥的應(yīng)用
到今年1月,據(jù)韓國經(jīng)濟(jì)日?qǐng)?bào)報(bào)道,韓國KT公司也將在上半年推出自己的類ChatGPT產(chǎn)品。此前,KT公司在2022年11月推出了基于GPT-3的人工智能服務(wù)MI:DEUM,它能夠?qū)崟r(shí)回答問題、總結(jié)報(bào)紙文章,并給出投資建議。KT公司目前也正在積極向韓國的金融服務(wù)公司推廣MI:DEUM。
但韓國同時(shí)也面臨許多挑戰(zhàn),比如韓文在語料方面和中文、日語一樣,面臨復(fù)雜的語言體系和語料不足的問題。
HyperCLOVA的工程師提到:“韓語是一種凝集性語言,名詞后面有例子,動(dòng)詞和形容詞的詞干后面有尾音,并有各種語法性質(zhì)的表達(dá)。對(duì)韓語使用類似英語的標(biāo)記化已被證明會(huì)降低韓語語言模型的性能。”
除此之外,韓國產(chǎn)業(yè)界認(rèn)為,韓國嚴(yán)格的數(shù)據(jù)使用規(guī)定阻礙了韓國初創(chuàng)企業(yè)收集足夠大的數(shù)據(jù)來訓(xùn)練AI大模型。
韓國是目前世界上數(shù)據(jù)信息管理最嚴(yán)格的國家之一。雖然在2020年韓國通過了三大數(shù)據(jù)隱私法的修訂法案,以放寬對(duì)個(gè)人信息使用的規(guī)定,但該國對(duì)數(shù)據(jù)使用的規(guī)定仍然比其他國家更嚴(yán)格。
2021年初,韓國AI初創(chuàng)公司Scatter Lab上線了一款基于Facebook Messenger的AI聊天機(jī)器人“李LUDA”,但僅僅過了20天,“李LUDA”就不得不終止服務(wù),Scatter Lab甚至為此公開道歉。
原因在于,“李LUDA”上線之后,一些韓國男性用戶將其視作性對(duì)象甚至“性奴隸”,肆意發(fā)泄自身的惡意。他們對(duì)“李LUDA”進(jìn)行各種言語上的侮辱,并以此作為炫耀的資本,在網(wǎng)上掀起“如何讓LUDA墮落”的低俗討論。
受這些信息影響,“李LUDA”很快開始發(fā)表各種歧視性言論,涉及女性、同性戀、殘障人士及不同種族人群。“李LUDA”的問題也牽涉出韓國的個(gè)人信息保護(hù)問題,并有相關(guān)部門介入調(diào)查。
“李LUDA”的案例就像總能直擊人心的韓國電影一樣,為世界AI大模型的發(fā)展提供了更多關(guān)于倫理、道德等方面的啟示。許多人害怕AI的惡意,但AI其實(shí)本沒有善惡之分,所謂的善惡其實(shí)都來自于人類自己,這取決于你給AI什么樣數(shù)據(jù),就像我們教予孩子什么樣的知識(shí)一樣。
除此之外,韓國AI大模型領(lǐng)域缺少初創(chuàng)公司的身影,且韓國對(duì)初創(chuàng)公司的投資也比較匱乏。
根據(jù)斯坦福大學(xué)HAI發(fā)布的 AI Index 2022,韓國初創(chuàng)企業(yè)獲得投資額為11億美元,僅占美國初創(chuàng)企業(yè)獲得投資額529億美元的2%,甚至低于以色列的24億美元。這也導(dǎo)致韓國在AI初創(chuàng)公司獨(dú)角獸方面落后于其他國家。
根據(jù)全球科技市場(chǎng)追蹤機(jī)構(gòu) CB Insights 的數(shù)據(jù),截至 2022 年 12 月,美國的 AI 獨(dú)角獸數(shù)量最多,有 53 家初創(chuàng)公司。中國以 19 家位居第二,其次是英國有4家,但韓國卻沒有AI獨(dú)角獸公司,而即使是國內(nèi)生產(chǎn)總值 (GDP) 低于韓國的以色列也有 3 家。
▲ 圖源數(shù)據(jù)來源CB Insights
一家專注于交互式 AI 技術(shù)的韓國機(jī)器學(xué)習(xí)技術(shù)的企業(yè)Genesis Lab Inc. 創(chuàng)始人兼CEO Lee Young-bok 表示,韓國公司總體上對(duì)人工智能并不友好,并補(bǔ)充說政府或公共組織應(yīng)該更加積極地采用人工智能技術(shù)。
四
歐洲:只有德國在認(rèn)真“搞事業(yè)”
一直以來,歐洲似乎是僅次于美國的存在,但在AI 大模型方面,歐洲并不比日本更出色,甚至處于持續(xù)擺爛狀態(tài)。
Future of Life Institute (FLI)曾在2022年11月發(fā)表過一篇報(bào)告提到:“歐洲沒有開發(fā)通用人工智能系統(tǒng),也不太可能很快開始這樣做。”
FLI是美國的一家致力于減少人類面臨的全球?yàn)?zāi)難性和生存風(fēng)險(xiǎn)非營利性機(jī)構(gòu),先進(jìn)人工智能帶來的風(fēng)險(xiǎn)是其最重要的研究方向之一,其創(chuàng)始人包括DeepMind研究科學(xué)家 Viktoriya Krakovna,馬斯克也在該機(jī)構(gòu)擔(dān)任顧問,并提供資助。
FLI認(rèn)為,在AI大模型方面,歐洲可能會(huì)主要扮演一個(gè)使用者的角色,即通過接入其他國家開發(fā)的大模型API來開發(fā)應(yīng)用。
比如芬蘭的Flowrite,一個(gè)基于AI的寫作工具,可以將輸入關(guān)鍵詞生成郵件、消息等內(nèi)容。比如荷蘭的MessageBird,一個(gè)全渠道通信平臺(tái),這兩者都是在GPT-3的基礎(chǔ)上運(yùn)行的。
歐洲在AI大模型方面確實(shí)缺少有影響力的企業(yè),唯一一個(gè)總部位于英國的DeepMind還是由 Alphabet 全資擁有。整個(gè)歐洲,唯一擔(dān)心因?yàn)榇竽P吐浜蠖皇澜缢﹂_,并為此操碎了心的只有德國。
比如谷歌3月7日最新推出的多模態(tài)大模型PaLM-E,就由谷歌和柏林工業(yè)大學(xué)共同打造,目前PaLM-E擁有5620億參數(shù),是全球最大的視覺語言模型。
除了合作研發(fā)之外,德國還擁有歐洲目前唯一一款A(yù)I大模型。
2022年4月,位于海德堡的德國初創(chuàng)公司Aleph Alpha發(fā)布了一款擁有700億參數(shù)的預(yù)訓(xùn)練模型Luminous,大約是GPT-3的一半左右。Aleph Alpha在此基礎(chǔ)上訓(xùn)練了聊天機(jī)器人Lumi,并計(jì)劃在今年晚些時(shí)候發(fā)布最新版Luminous-World,其參數(shù)規(guī)模將達(dá)到3000億。
作為歐洲企業(yè),Luminous最大的特點(diǎn)在于更保護(hù)安全和隱私,Aleph Alpha 表示他們“不記錄任何用戶數(shù)據(jù)”。而包括OpenAI在內(nèi)的大多數(shù)AI大模型需要用戶數(shù)據(jù)進(jìn)行訓(xùn)練(數(shù)據(jù)收集過程是透明的)。
▲ 圖源Luminous官網(wǎng)
除了建設(shè)大模型,德國也為歐洲薄弱的人工智能基礎(chǔ)設(shè)施操碎了心。
德國人工智能協(xié)會(huì)正在開展一項(xiàng)大型歐洲人工智能模型(LEAM) 的計(jì)劃,并得到博世、SAP、大陸、拜耳、默克等德國行業(yè)巨頭以及歐洲類似人工智能協(xié)會(huì)的支持。LEAM計(jì)劃投資3.5億歐元,從數(shù)據(jù)收集、人才培訓(xùn)、基礎(chǔ)設(shè)施建設(shè)等方面為歐洲AI大模型的發(fā)展建立一個(gè)有競爭力的 AI 生態(tài)系統(tǒng)。
當(dāng)然,你可以吐槽歐洲在技術(shù)和商業(yè)上的拉胯,但不能吐槽它在公共事業(yè)上的努力。
歐洲還有一個(gè)名叫BLOOM的大模型,發(fā)布在2020年8月。這是一個(gè)由 AI 初創(chuàng)公司 Hugging Face 在法國政府的資助下發(fā)起的項(xiàng)目,全球 1000 多名志愿者研究人員耗時(shí)一年多創(chuàng)建的 AI 模型,旨在消除傳統(tǒng)大語言模型的保密性和排他性,并從一開始就嵌入倫理考量。
BLOOM有 1760 億參數(shù),它被設(shè)計(jì)得盡可能透明,并且是第一次采用了西班牙語、阿拉伯語等語言訓(xùn)練。BLOOM最大的特點(diǎn)在于可訪問性,任何人都可以從 Hugging Face 網(wǎng)站免費(fèi)下載它進(jìn)行研究。
BLOOM的研究人員認(rèn)為,開發(fā)一個(gè)任何人都可以使用,并且性能與其他高級(jí)模型相當(dāng)?shù)拇笳Z言模型將帶來人工智能開發(fā)文化的長期變化。所以從歐洲的視角來看,這是一項(xiàng)致力于AI民主化的重要工作。
從 BLOOM的視角可以看出,歐洲在AI大模型上的關(guān)注重點(diǎn)與世界其他國家是不一樣的,開源普惠,綠色安全這一類關(guān)于SDG的詞匯一直是歐洲關(guān)注的重點(diǎn)。所以在AI大模型之后,歐洲大量精力其實(shí)都用在了立法上。
比如最重要的一項(xiàng)立法就是即將在3月底提交歐盟議會(huì)表決的《人工智能法案》。
這項(xiàng)法案是歐盟委員會(huì)在2021年提出的,原因是歐盟認(rèn)為從跨國視角來看,各國獨(dú)立的監(jiān)管措施會(huì)導(dǎo)致監(jiān)管碎片化,進(jìn)而妨礙跨境人工智能市場(chǎng)的形成,并威脅到數(shù)字主權(quán)。同時(shí)他們也擔(dān)心復(fù)雜的監(jiān)管會(huì)抑制創(chuàng)新、威脅個(gè)人隱私、甚至AI一旦失控帶來的一些潛在風(fēng)險(xiǎn)。當(dāng)然,最重要的是,歐盟希望通過立法的方式參與到全球人工智能的標(biāo)準(zhǔn)制定當(dāng)中。
具體而言,歐盟希望將不同的AI技術(shù)根據(jù)風(fēng)險(xiǎn)水平進(jìn)行分類,具體為:最小、有限、高以及不可接受。高風(fēng)險(xiǎn)技術(shù)不會(huì)被禁止,但相關(guān)公司將被要求在運(yùn)營中保持高度透明。而所謂透明,其中的規(guī)則就是迫使相應(yīng)的公司闡明其人工智能模型的內(nèi)部運(yùn)作方式。
而這項(xiàng)法案一旦通過,意味著將成為歐盟成員國內(nèi)直接適用的法律,之后如果企業(yè)想在歐盟銷售或使用人工智能產(chǎn)品就必須遵守相應(yīng)的法規(guī),否則將面臨高達(dá)其全球年?duì)I業(yè)額 6% 的罰款。
但FLI認(rèn)為,歐洲對(duì)其他國家的技術(shù)依賴可能阻礙歐盟參與制定人工智能全球標(biāo)準(zhǔn)的努力。
歐洲的問題在于,缺乏一個(gè)統(tǒng)一的大市場(chǎng)。
在GDP總量上,歐盟2022年GDP16.65萬億美元與中國相當(dāng);在人口數(shù)量上,歐盟2022年人口4.46億,甚至超過美國3.32億。但歐盟卻擁有28個(gè)國家,23種官方語言,再加上與美國的深度綁定,都導(dǎo)致歐盟在互聯(lián)網(wǎng)時(shí)代沒有創(chuàng)造出一個(gè)大型的互聯(lián)網(wǎng)企業(yè),進(jìn)而在數(shù)據(jù)量、云計(jì)算、推理訓(xùn)練等AI大模型相關(guān)的基礎(chǔ)設(shè)施上被持續(xù)拉開。
如今在AI大模型領(lǐng)域,歐洲已經(jīng)很難組織起一場(chǎng)強(qiáng)有力的阻擊,但對(duì)于中國企業(yè)來說,歐洲仍然是一個(gè)廣闊的市場(chǎng)。
五
中國:最活躍的AI市場(chǎng),愛打組合拳
許多人可能會(huì)認(rèn)為,中國的AI大模型是從“文心一言”開始的。但“文心一言”其實(shí)只是一個(gè)類ChatGPT的產(chǎn)品,背后驅(qū)動(dòng)它的AI大模型無論是百度、阿里、還是騰訊、華為都早有布局。
但有意思的是,中國第一個(gè)AI大模型并不來自于這些牛逼哄哄的大企業(yè),而是2021年3月由智源研究院發(fā)布的“悟道1.0”。
可能會(huì)有人好奇,智源研究院是個(gè)什么角色,那我告訴你,它是妥妥的國家隊(duì)。
智源研究院是科技部和北京市支持的,依托北京大學(xué)、清華大學(xué)、中國科學(xué)院、百度、小米、曠視科技等北京人工智能方面優(yōu)勢(shì)企業(yè)共同建立的研究機(jī)構(gòu)。
智源研究院推出的悟道1.0并不是某個(gè)大模型的名稱,而是一系列大模型的統(tǒng)稱。
具體包括我國首個(gè)面向中文的預(yù)訓(xùn)練語言模型悟道·文源;首個(gè)公開的中文通用圖文多模態(tài)預(yù)訓(xùn)練模型悟道·文瀾,首個(gè)具有認(rèn)知能力的超大規(guī)模預(yù)訓(xùn)練模型悟道·文匯和超大規(guī)模蛋白質(zhì)序列預(yù)測(cè)預(yù)訓(xùn)練模型悟道·文溯。
除了發(fā)布了諸多冠名“第一”的大模型之外,智源研究院還為中國構(gòu)建了大規(guī)模預(yù)訓(xùn)練模型技術(shù)體系,并建設(shè)開放了全球最大中文語料數(shù)據(jù)庫WuDaoCorpora,為后來其他企業(yè)發(fā)展AI大模型打下了基礎(chǔ)。
而或許是受“悟道1.0”的影響,后來幾乎所有企業(yè),在發(fā)布大模型的時(shí)候都不止發(fā)一個(gè),而是一串。
比如百度在2019年發(fā)布了文心大模型。和悟道AI一樣,文心大模型也是諸多模型的統(tǒng)稱,包括NLP、CV(機(jī)器學(xué)習(xí))、跨模態(tài)大模型和生命計(jì)算大模型四個(gè)類別36個(gè)大模型。
3月16日,基于文心大模型,百度發(fā)布文心一言,成為中國第一個(gè)類ChatGPT產(chǎn)品。
▲ 圖源百度文心大模型官網(wǎng)
華為在在2021年基于昇騰 AI 與鵬城實(shí)驗(yàn)室聯(lián)合發(fā)布了鵬程盤古大模型。盤古大模型包括CV和NLP兩類大模型。其中,盤古NLP大模型是業(yè)界首個(gè)千億級(jí)中文NLP大模型。
阿里在2022年9月發(fā)布了“通義”大模型系列,包含NLP大模型AlicMind、視覺大模型CV,多模態(tài)大模型M6。其中M6大模型是國內(nèi)首個(gè)千億參數(shù)多模態(tài)大模型。
目前,阿里巴巴“”通義”大模型系列已在超過200個(gè)場(chǎng)景中提供服務(wù),實(shí)現(xiàn)了2%-10%的應(yīng)用效果提升。典型使用場(chǎng)景包括電商跨模態(tài)搜索、AI輔助設(shè)計(jì)、開放域人機(jī)對(duì)話、法律文書學(xué)習(xí)、醫(yī)療文本理解等。
▲ 圖源阿里官網(wǎng)
同樣在2022年,騰訊發(fā)布混元AI大模型,其中包含NLP、CV和多模態(tài)等基礎(chǔ)模型和眾多行業(yè)/領(lǐng)域模型。到今年2月初,騰訊混元AI大模型團(tuán)隊(duì)再推出萬億中文NLP預(yù)訓(xùn)練模型HunYuan-NLP-1。目前HunYuan-NLP-1T大模型已在騰訊廣告、搜索、對(duì)話等內(nèi)部產(chǎn)品落地,并通過騰訊云服務(wù)外部客戶。
到今年2月底,騰訊也開始研發(fā)類ChatGPT產(chǎn)品,并已成立“混元助手(HunyuanAide)”項(xiàng)目組。
商湯在3月14日發(fā)布多模態(tài)通用大模型“書生2.5”,擁有30億參數(shù),其圖文跨模態(tài)開放任務(wù)處理能力可為自動(dòng)駕駛、機(jī)器人等通用場(chǎng)景任務(wù)提供感知和理解能力支持。“書生(INTERN)”最初版本由商湯科技、上海人工智能實(shí)驗(yàn)室、清華大學(xué)、香港中文大學(xué)、上海交通大學(xué)在2021年11月首次共同發(fā)布。
在此之外,京東在2月10日宣布研發(fā)產(chǎn)業(yè)版ChatGP—ChatJD,網(wǎng)易、360、字節(jié)跳動(dòng)等也宣布了在AI大模型方面的布局。
可以說,目前國內(nèi)有頭有臉的互聯(lián)網(wǎng)企業(yè)基本都擁有一個(gè)AI大模型,或者制定了相應(yīng)的計(jì)劃。
而與國外企業(yè)大多專注于一個(gè)大模型不同,中國企業(yè)在大模型方面的布局并不愛單打獨(dú)斗,而是喜歡通過一個(gè)系列來打組合拳。
另一個(gè)特點(diǎn)在于,與國外大模型在實(shí)驗(yàn)室打磨成熟之外,中國大模型都是從產(chǎn)業(yè)端實(shí)戰(zhàn)出來的。比如阿里、百度、騰訊的大模型都會(huì)應(yīng)用到廣告推送、社交平臺(tái)的圖片識(shí)別,內(nèi)容分發(fā)等領(lǐng)域。
因此在中國企業(yè)發(fā)力大模型的時(shí)候,消費(fèi)端的用戶感知其實(shí)并不強(qiáng)烈,但當(dāng)你體驗(yàn)到廣告推送越來越準(zhǔn)確,視頻平臺(tái)和電商平臺(tái)的猜你喜歡越來越能Get到你的點(diǎn),后面都有大模型的功勞。
在大廠之外,與韓國缺少創(chuàng)業(yè)不同,AI大模型正在中國帶動(dòng)AI大模型領(lǐng)域的創(chuàng)業(yè)風(fēng)潮。
從前美團(tuán)聯(lián)合創(chuàng)始人王慧文在朋友圈公開組隊(duì)開始,阿里VP賈揚(yáng)清,創(chuàng)新工場(chǎng)CEO李開復(fù)、前搜狗CEO王小川、前京東AI掌門人周伯文、出門問問創(chuàng)始人李志飛等人紛紛下場(chǎng)創(chuàng)業(yè),據(jù)「自象限」不完全統(tǒng)計(jì),目前下場(chǎng)的大佬已有10位。
關(guān)于中國ChatGPT的創(chuàng)業(yè)機(jī)會(huì),「自象限」《ChatGPT啟示錄》專題下一篇《中國ChatGPT創(chuàng)業(yè)啟示錄(上)》將會(huì)具體提到,歡迎持續(xù)關(guān)注。
除了創(chuàng)業(yè)之外,中國投資機(jī)構(gòu)也在躍躍欲試。
在王慧文確認(rèn)下場(chǎng)AI大模型之后,一張真格基金合伙人戴雨森、劉元與王慧文、李志飛喝酒的圖片在網(wǎng)上瘋傳,被認(rèn)為是AI大模型時(shí)代的標(biāo)志性照片。目前,王慧文的光年之外已經(jīng)確認(rèn)2.3億美元的新一輪融資,其中可能包括真格資本和源碼資本。
▲ 戴雨森、王慧文、李志飛、劉元(從左至右)圖源36氪
除此之外,在奇績創(chuàng)壇2022年11月舉辦的2022年秋季路演中,陸奇選擇的55個(gè)項(xiàng)目,其中就有16個(gè)項(xiàng)目與大模型相關(guān)。
可以說,AI大模型正在成為中國硬科技投資的一個(gè)新風(fēng)向。關(guān)于中國ChatGPT的投資現(xiàn)狀,「自象限」專題《ChatGPT啟示錄》第四篇《中國ChatGPT投資啟示錄》將會(huì)具體提到,歡迎持續(xù)關(guān)注。
整體來看,從投資、創(chuàng)業(yè)到應(yīng)用,中國幾乎是目前世界上最活躍的市場(chǎng)。
所以我們大可不必糾結(jié)為什么ChatGPT沒有發(fā)生在中國,因?yàn)槲磥砣匀淮笥锌蔀椤?/strong>
? 參考資料:
https://www.intellilink.co.jp/column/ai/2022/070800.aspx
https://bigscience.huggingface.co/blog/bloom
https://futureoflife.org/wpcontent/uploads/2022/11/Emerging_NonEuropean_Monopolies_in_the_Global_AI_Market.pdf
http://m.ce.cn/gs/gd/202303/15/t20230315_38444222.shtml
編者按:本文轉(zhuǎn)載自微信公眾號(hào):自象限(ID:zixiangxian),作者:羅輯
前瞻經(jīng)濟(jì)學(xué)人
專注于中國各行業(yè)市場(chǎng)分析、未來發(fā)展趨勢(shì)等。掃一掃立即關(guān)注。