打造生成式AI應(yīng)用，什么才是關(guān)鍵？

圖源：攝圖網(wǎng)

作者|科技云報道 來源|科技云報到(ID：ITCloud-BD)

生成式AI作為當(dāng)前人工智能的前沿領(lǐng)域，全球多家科技企業(yè)都在加大生成式AI的研發(fā)投入力度。

隨著技術(shù)、產(chǎn)品及應(yīng)用等方面不斷推出重要成果，如今有更多的行業(yè)用戶在思考該如何將生成式AI應(yīng)用落地。

但開發(fā)生成式AI應(yīng)用是一個充滿挑戰(zhàn)的系統(tǒng)工程，并不是單純的產(chǎn)品和服務(wù)拼接，涉及基礎(chǔ)設(shè)施領(lǐng)域一系列的挑戰(zhàn)。

亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建表示，當(dāng)我們談?wù)撋墒紸I時，大多數(shù)人都在談?wù)摶A(chǔ)模型，而整個生成式AI應(yīng)用就像是浮在海面的冰山，露在海面上方能被大多數(shù)人看到的冰山一角就像是基礎(chǔ)模型，而在冰川的底部，同樣需要大量的基礎(chǔ)模型以外的服務(wù)來支撐，如加速芯片、數(shù)據(jù)庫、數(shù)據(jù)分析、數(shù)據(jù)安全服務(wù)等等。

那么，想要構(gòu)建一個成功的生成式AI應(yīng)用，需要哪些基礎(chǔ)設(shè)施助力？業(yè)界是否有一些最佳實踐可以參考呢？

 01

生成式AI應(yīng)用構(gòu)建的關(guān)鍵

高性價比的基礎(chǔ)設(shè)施

都說算力、算法和數(shù)據(jù)是人工智能發(fā)展的三要素，想要讓這些要素更好地與生成式AI應(yīng)用匹配，高性價比的基礎(chǔ)設(shè)施必不可少。

人工智能的發(fā)展從深度學(xué)習(xí)時代進(jìn)入到大模型時代，大規(guī)模預(yù)訓(xùn)練模型的參數(shù)量呈現(xiàn)指數(shù)級上升，需要高性能算力的支撐。

目前，大規(guī)模預(yù)訓(xùn)練模型訓(xùn)練算力是以往的10到100倍，當(dāng)前主流生成式AI模型的訓(xùn)練廣泛使用到英偉達(dá)Tensor Core GPU芯片，如微軟斥資數(shù)億美元購買數(shù)萬顆英偉達(dá)A100芯片以幫助Open AI打造ChatGPT。

AI計算集群能夠提供大規(guī)模算力、持續(xù)提高算力資源利用率、提升數(shù)據(jù)存儲和處理能力，進(jìn)一步降低模型訓(xùn)練門檻和成本，推動生成式AI模型的落地進(jìn)程。

當(dāng)前較為典型的AI計算集群，例如基于英偉達(dá)最新GPU芯片H100 Tensor Core的Amazon EC2 P5實例，與上一代相比速度快6倍，訓(xùn)練成本節(jié)省40%；

基于亞馬遜云科技自研的機(jī)器學(xué)習(xí)推理芯片Amazon Inferentia2推出的Amazon EC2 Inf2實例，與其他類似的EC2實例相比性價比高40%；

基于自研機(jī)器學(xué)習(xí)訓(xùn)練芯片Amazon Trainium推出的Amazon EC2 Trn1實例，與同類實例相比訓(xùn)練成本節(jié)省高達(dá)50%。

這也是為什么有越來越多的客戶，比如Airbnb、OPPO、Sprinklr 和 Autodesk等，會選擇使用亞馬遜云科技的自研芯片來承載他們的生成式AI應(yīng)用。

生成式AI的核心是利用機(jī)器學(xué)習(xí)領(lǐng)域的基礎(chǔ)模型驅(qū)動的，從RNN、CNN到VAE、GAN，每種模型都有其獨特的優(yōu)點和應(yīng)用領(lǐng)域，這些模型在很大程度上決定了AI系統(tǒng)的表現(xiàn)。

然而，基礎(chǔ)模型的發(fā)展和迭代速度正超越以外任何一項技術(shù)，基本以月甚至天為單位持續(xù)迭代。

在眾多的基礎(chǔ)模型中，應(yīng)該如何便捷安全的選擇最適合自己業(yè)務(wù)場景的基礎(chǔ)模型，是每一家企業(yè)在構(gòu)建生成式AI應(yīng)用時面臨的挑戰(zhàn)。

事實上，借助專門構(gòu)建的生成式AI工具和基礎(chǔ)設(shè)施，可以幫助企業(yè)快速構(gòu)建高性價比的生成式AI應(yīng)用。

例如，亞馬遜云科技Amazon Bedrock是一項無服務(wù)器服務(wù)，提供了廣泛的模型選擇、數(shù)據(jù)隱私，并且能夠自定義模型，無需管理任何基礎(chǔ)設(shè)施。

該服務(wù)提供的基礎(chǔ)模型來自Meta, Anthropic, Stability AI, AI21 Labs, Cohere等第三方領(lǐng)先提供商以及自身的Amazon Titan模型等，近期還加入了Meta的下一代開源大模型Llama2以及Anthropic的Claude2等熱門基礎(chǔ)模型。

同時，Amazon Bedrock與Amazon SageMaker Jumpstart結(jié)合，用戶可以從Amazon SageMaker Jumpstart中選擇開源的基礎(chǔ)模型，然后根據(jù)自身需求可以選擇全量微調(diào)，輕量微調(diào)等不同方式，進(jìn)一步確定微調(diào)框架，利用分布式訓(xùn)練實現(xiàn)微調(diào)，從而更好的評估微調(diào)效果。

人工智能預(yù)訓(xùn)練模型的開發(fā)對于云服務(wù)有較大需求，AI云服務(wù)可以提供人工智能開發(fā)模塊，通過多元化的服務(wù)模式，降低開發(fā)者的開發(fā)成本和產(chǎn)品開發(fā)周期，為模型開發(fā)提供AI賦能。

尤其是借助云原生服務(wù)，可以加速AI應(yīng)用構(gòu)建，助力業(yè)務(wù)敏捷創(chuàng)新。

比如，以微服務(wù)化和事件驅(qū)動架構(gòu)為核心的設(shè)計框架，松耦合的去處理每個功能模塊之間的互相依賴；Serverless First能夠簡化運維、提升效率；在DevOps、基礎(chǔ)設(shè)施即服務(wù)、自動化等現(xiàn)代應(yīng)用治理理念持續(xù)投入，可以促進(jìn)企業(yè)內(nèi)部的應(yīng)用資產(chǎn)與實踐的分享，構(gòu)建高效敏捷的構(gòu)建者文化等等。

數(shù)據(jù)作為生成式AI的關(guān)鍵，也將推動生成式AI的廣泛應(yīng)用，對于所有的組織企業(yè)來說都十分重要。

首先，面向生成式AI構(gòu)建強(qiáng)大的數(shù)據(jù)“基座”，需要一套全面的服務(wù)，以便能夠存儲用于構(gòu)建和微調(diào)模型的各種類型的數(shù)據(jù)；

其次，還需要服務(wù)間的集成，以打破數(shù)據(jù)孤島，確保能夠隨時訪問所有數(shù)據(jù)；

最后，還需要在構(gòu)建生成式AI應(yīng)用程序的整個生命周期中，確保數(shù)據(jù)安全并對其進(jìn)行管理。

以亞馬遜云科技為例，針對生成式AI領(lǐng)域的用戶個人信息、會話信息管理、私域知識庫等應(yīng)用場景都提供了專門構(gòu)建的數(shù)據(jù)庫。

在數(shù)據(jù)集成方面，亞馬遜云科技已經(jīng)在Amazon S3、Amazon Aurora、Amazon Redshift、Amazon SageMaker、Amazon EMR、Amazon Athena、Amazon Kinesis等各項服務(wù)之間，實現(xiàn)了深度的數(shù)據(jù)集成，幫助企業(yè)執(zhí)行分析和機(jī)器學(xué)習(xí)，且無需移動數(shù)據(jù)。

在數(shù)據(jù)治理方面，亞馬遜云科技Amazon DataZone讓客戶能夠跨組織邊界發(fā)現(xiàn)、訪問、共享和治理大規(guī)模數(shù)據(jù)，并減少企業(yè)內(nèi)部成員訪問數(shù)據(jù)和使用分析工具時繁重的工作量。

02

構(gòu)建生成式AI

應(yīng)用的行業(yè)實踐

目前，由生成式AI引導(dǎo)的企業(yè)變革序幕全面展開，以多元應(yīng)用不斷創(chuàng)新AI應(yīng)用范式，并將實踐成果逐步延伸至智慧教育、智能制造、醫(yī)療等領(lǐng)域，真正成為人們生產(chǎn)生活的得力助手。

其中，在行業(yè)類應(yīng)用場景中，AI助手類應(yīng)用得到了廣泛運用，比如在協(xié)同辦公賽道就掀起了新風(fēng)口：

釘釘接入千問大模型，用戶可以喚起10余項AI能力如：自動整理群聊要點、生成待辦、預(yù)約日程、寫文案、生成海報、一鍵生成討論要點等。

飛書宣布推出智能助手“My AI”，功能包括匯總會議紀(jì)要、創(chuàng)建報告、優(yōu)化和續(xù)寫文字內(nèi)容等功能。

金山辦公推出“WPS AI”，支持內(nèi)容生成、公式生成、制作PPT、掃描識別并分析文件等功能。

而在金融、醫(yī)療、工業(yè)等領(lǐng)域，最具前景的應(yīng)用則來自于數(shù)據(jù)挖掘和知識洞察（Insight）類工具。

但無論是哪種形式的生成式AI的應(yīng)用落地，背后都離不開強(qiáng)大的基礎(chǔ)設(shè)施作為支撐。

金山辦公軟件股份有限公司的 AI 研發(fā)總監(jiān)劉強(qiáng)表示，今年起WPS開始將大語言模型的能力全面引入產(chǎn)品，致力于開發(fā)新一代辦公軟件。

而在構(gòu)建生成式AI應(yīng)用的過程中，基礎(chǔ)模型性能有限，數(shù)據(jù)隱私與安全難以保障，高額管理成本等現(xiàn)實情況成為了擺在金山辦公面前的重重障礙。

亞馬遜云科技Amazon Bedrock中支持的領(lǐng)先大語言模型，在多個文字處理場景中符合金山辦公的需求。

除多種模型選擇外，Amazon Bedrock還在數(shù)據(jù)安全層面給金山辦公提供了充分的支持，極大地提高了金山辦公的內(nèi)部開發(fā)效率，助力金山辦公進(jìn)一步革新辦公體驗。

西門子中國也借助了一系列云基礎(chǔ)設(shè)施、大數(shù)據(jù)、機(jī)器學(xué)習(xí)等技術(shù)，來構(gòu)建生成式AI應(yīng)用。

據(jù)西門子中國大禹團(tuán)隊介紹，長期以來企業(yè)內(nèi)部資源的檢索和調(diào)用都存在結(jié)構(gòu)散亂、檢索速度慢、交互不便等問題。因此，大禹團(tuán)隊決定將大數(shù)據(jù)庫和生成式 AI 應(yīng)用于一個全新的“智能知識庫”，從根本上提升知識庫的可用性。

在亞馬遜云的技術(shù)支持下，西門子中國大禹團(tuán)隊通過一個智能知識庫暨智能會話機(jī)器人的解決方案，三個月時間就上線了生成式AI對話機(jī)器人“小禹”，實現(xiàn)了快速、精準(zhǔn)的查詢和回復(fù)。

在整個解決方案中，包括預(yù)訓(xùn)練大語言模型，Amazon OpenSearch Service的向量數(shù)據(jù)服務(wù)，以及相關(guān)系統(tǒng)集成等，這些核心關(guān)鍵能力讓解決方案指南能實現(xiàn)目標(biāo)知識庫約80%功能，西門子中國根據(jù)企業(yè)內(nèi)部需求再做20%定制化開發(fā)，最終形成完整的解決方案。

同時，Amazon OpenSearch Service的無服務(wù)器特性，讓開發(fā)人員不需要管理集群或擔(dān)心生產(chǎn)規(guī)模，可以快速推動部署。

基于Amazon SageMaker上提供的豐富的模型開發(fā)和訓(xùn)練工具，也保證了開發(fā)人員可以在云端輕松實現(xiàn)大語言模型的調(diào)優(yōu)以及測試更多不同類型的開源模型。

03

結(jié)語

生成式AI正在成為企業(yè)新一輪業(yè)務(wù)創(chuàng)新的重要工具，成為下一代的生產(chǎn)力工具。

總體來看，高性價比的云基礎(chǔ)設(shè)施技術(shù)如同一艘航母，能夠為企業(yè)提供堅實的底座，讓企業(yè)擺脫基礎(chǔ)設(shè)施的束縛，更好、更高效地專注于創(chuàng)新。

編者按：本文轉(zhuǎn)載自微信公眾號：科技云報到(ID：ITCloud-BD)，作者：科技云報道