大模型上車(chē)，特斯拉帶了個(gè)好頭嗎？

作者|解碼工作室 來(lái)源|解碼Decode(ID：kankeji001)

1989年，卡內(nèi)基梅隆大學(xué)接到了美國(guó)軍方的一個(gè)研究課題，內(nèi)容是當(dāng)時(shí)看起來(lái)不可思議的自動(dòng)駕駛。

為此，研究人員給一輛翻新的軍用急救車(chē)，裝上了一個(gè)看起來(lái)像探照燈的碩大攝像頭，還配備了一臺(tái)冰箱大小的處理器和一部5000W的發(fā)電機(jī)。

盡管設(shè)備簡(jiǎn)陋、數(shù)據(jù)粗糙，比如據(jù)媒體報(bào)道當(dāng)時(shí)車(chē)頂?shù)臄z像頭只能輸入30×32像素網(wǎng)格，但借助開(kāi)創(chuàng)性的神經(jīng)網(wǎng)絡(luò)，這輛名為ALVINN的自動(dòng)駕駛汽車(chē)最高速度能達(dá)到88km/h。

ALVINN被譽(yù)為自動(dòng)駕駛領(lǐng)域一個(gè)里程碑項(xiàng)目。其最深刻的影響，正是用神經(jīng)網(wǎng)絡(luò)替代人工代碼，成為后來(lái)自動(dòng)駕駛技術(shù)發(fā)展的一座燈塔。

此后數(shù)十年，自動(dòng)駕駛技術(shù)沿著ALVINN的方向飛速發(fā)展，直到chatGPT問(wèn)世，大模型走上舞臺(tái)，成為改變自動(dòng)駕駛最大的一個(gè)變量。

在車(chē)端，大模型已經(jīng)作用于自動(dòng)駕駛的感知和預(yù)測(cè)環(huán)節(jié)，正在向決策層滲透；在云端，大模型為L(zhǎng)3及以上自動(dòng)駕駛落地鋪平了道路；甚至，大模型還將加速城市NOA落地。

而全球的下游企業(yè)中，特斯拉毫無(wú)疑問(wèn)是跑在最前面的少數(shù)。

今年8月特斯拉端到端AI自動(dòng)駕駛系統(tǒng)FSD Beta V12版本的公開(kāi)亮相，據(jù)稱(chēng)可以完全依靠車(chē)載攝像頭和神經(jīng)網(wǎng)絡(luò)，識(shí)別道路和交通情況并做出相應(yīng)的決策。

這種端到端模型的感知決策一體化，讓自動(dòng)駕駛直接從一端輸入圖像數(shù)據(jù)，一端輸出操作控制，更接近人類(lèi)的真實(shí)駕駛。

但車(chē)企們努力接近端到端模型時(shí)才發(fā)現(xiàn)，想要超越必須先跟隨。

1

算法優(yōu)先

讓大模型上車(chē)，特斯拉絕對(duì)是最激進(jìn)的一個(gè)。

早在2015年，特斯拉就開(kāi)始布局自動(dòng)駕駛軟硬件自研，2016-2019年陸續(xù)實(shí)現(xiàn)了算法和芯片自研。隨后在2020年，特斯拉自動(dòng)駕駛又迎來(lái)大規(guī)模升級(jí)：

不僅用FSD Beta替換了Mobileye的Autopilot 3.0，還將算法由原來(lái)的2D+CNN升級(jí)為BEV+Transform。

Transformer就是GPT中的T，是一種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，優(yōu)勢(shì)是可實(shí)現(xiàn)全局理解的特征提取，增強(qiáng)模型穩(wěn)定性和泛化能力。

BEV全稱(chēng)是Bird’s Eye View(鳥(niǎo)瞰視角），是一種將三維環(huán)境信息投影到二維平面的方法，以俯視視角展示環(huán)境當(dāng)中的物體和地形。

與傳統(tǒng)小模型相比，BEV+Transformer對(duì)智能駕駛的感知和泛化能力進(jìn)行了提升，有助于緩解智能駕駛的長(zhǎng)尾問(wèn)題：

1）感知能力：BEV統(tǒng)一視角，將激光雷達(dá)、雷達(dá)和相機(jī)等多模態(tài)數(shù)據(jù)融合至同一平面上，可以提供全局視角并消除數(shù)據(jù)之間的遮擋和重疊問(wèn)題，提高物體檢測(cè)和跟蹤的精度 ；

2）泛化能力：Transformer模型通過(guò)自注意力機(jī)制，可實(shí)現(xiàn)全局理解的特征提取，有利于尋找事物本身的內(nèi)在關(guān)系，使智能駕駛學(xué)會(huì)總結(jié)歸納而不是機(jī)械式學(xué)習(xí)。

2022年特斯拉又在算法中引入時(shí)序網(wǎng)絡(luò)，并將BEV升級(jí)為占用網(wǎng)絡(luò)(OccupancyNetwork)，有效解決了從三維到二維過(guò)程中的信息損失問(wèn)題。

從感知算法的推進(jìn)來(lái)看，行業(yè)總體2022年及之前的的商業(yè)化應(yīng)用主要為2D+CNN算法。隨著ChatGPT等AI大模型的興起，算法已經(jīng)升級(jí)至BEV+Transformer。

時(shí)間上特斯拉有領(lǐng)先優(yōu)勢(shì)（2020年），國(guó)內(nèi)小鵬、華為、理想等均是今年才切換至BEV+Transformer。

但不論是特斯拉還是國(guó)內(nèi)主機(jī)廠，BEV+Transformer都仍只應(yīng)用于感知端。

雖然學(xué)術(shù)界以最終規(guī)劃為目標(biāo)，提出感知決策一體化的智能駕駛通用大模型UniAD+全棧Transformer模型，不過(guò)受限于算法復(fù)雜性+大算力要求，目標(biāo)落地尚無(wú)準(zhǔn)確時(shí)間表。

2

算力競(jìng)賽

2016年，因輔助駕駛致死事故和Mobileye分道揚(yáng)鑣的特斯拉，找到英偉達(dá)定制了算力為24TOPS的計(jì)算平臺(tái) Drive PX2，由此開(kāi)啟了車(chē)企瘋狂追求算力的神奇序幕。

繼Drive PX2之后，英偉達(dá)在6年時(shí)間內(nèi)發(fā)布了三代智能駕駛芯片，從Xavier、Orin再到Thor，算力從30TOPS一躍升到2000TOPS，足足增長(zhǎng)了83倍，比摩爾定律還要快。

上游如此“喪心病狂”的堆算力，歸根結(jié)底還是因?yàn)橄掠斡腥速I(mǎi)單。

一方面，隨著智能汽車(chē)上的傳感器規(guī)格和數(shù)量提升，帶來(lái)數(shù)據(jù)層面的暴漲。

以特斯拉Model Y和小鵬 G6 Max為例，后者因配置了更多傳感器，所需算力達(dá)到了前者的3.5倍。

當(dāng)一輛自動(dòng)駕駛車(chē)輛每天可以產(chǎn)生數(shù)TB，甚至數(shù)十TB數(shù)據(jù)，數(shù)據(jù)處理能力即為自動(dòng)駕駛技術(shù)驗(yàn)證的關(guān)鍵點(diǎn)之一。

另一方面，“大模型化”也讓智能駕駛算法的芯片算力愈發(fā)吃緊。

上汽人工智能實(shí)驗(yàn)室曾測(cè)試，實(shí)現(xiàn)L2級(jí)自動(dòng)駕駛只需10Tops以下的算力，即便是實(shí)現(xiàn)L4級(jí)自動(dòng)駕駛也只需100Tops左右的算力。而下游企業(yè)暴漲的算力需求，實(shí)際也另有原因。

一個(gè)是云端算力。

自動(dòng)駕駛系統(tǒng)前期和后期開(kāi)發(fā)依賴大量環(huán)境數(shù)據(jù)輸入，對(duì)算法進(jìn)行訓(xùn)練與驗(yàn)證，同時(shí)仿真測(cè)試中場(chǎng)景搭建與渲染也需要高算力支持。

而且特斯拉引領(lǐng)的神經(jīng)網(wǎng)絡(luò)Transformer又是一個(gè)資源消耗大戶，毫末智行數(shù)據(jù)顯示，Transformer在訓(xùn)練端所需算力是CNN的100倍。

如此一來(lái)，下游企業(yè)想要獲得算力要么自建智算中心（特斯拉），要么與云服務(wù)商合作，最不濟(jì)的全部外采，包括算法、計(jì)算資源、應(yīng)用服務(wù)等。

國(guó)內(nèi)主流主機(jī)廠/自動(dòng)駕駛廠商的智算中心雖然都已上線，但因自建成本較高，國(guó)內(nèi)主流自動(dòng)駕駛廠商大多采取合作模式/采購(gòu)模式，比如吉利星睿、小鵬扶搖都是阿里云，毫末和理想則是火山引擎。但從長(zhǎng)期成本優(yōu)勢(shì)來(lái)看，仍具備較高的自建傾向。

還有一個(gè)則是NOA。

現(xiàn)實(shí)中主機(jī)廠具備城市NOA高階智能駕駛功能的車(chē)型，算力大多在200-500TOPS左右。

但NOA從高速道路向城市道路拓展（高速道路-城市快速路-城市主干道-城市次干道-城市支路）的過(guò)程中，人流越密集（每天僅25%的人出行途徑高速，而城市道路則是100%）的道路環(huán)境復(fù)雜度更高，物體識(shí)別、感知融合和系統(tǒng)決策的算力需求就越高。

沐曦首席產(chǎn)品官孫國(guó)梁就指出，在車(chē)端部署大模型并能實(shí)現(xiàn)既定任務(wù)，算力至少要達(dá)到300～500TOPS。模型優(yōu)化或可降低算力要求，但考慮到未來(lái)場(chǎng)景復(fù)雜度和數(shù)據(jù)量增加，以及視覺(jué)感知占比增加（相對(duì)基于規(guī)則），車(chē)端算力或?qū)⒎哆_(dá)800TOPS以上。

3

感知升級(jí)

光大證券有一個(gè)判斷，認(rèn)為L(zhǎng)2/L2+級(jí)向L3級(jí)高階智能駕駛邁進(jìn)的三大要素重要性排序分別是數(shù)據(jù)>算法>硬件，而后階段向更高階智能駕駛邁進(jìn)的排序或?yàn)橛布?gt;=算法>數(shù)據(jù)。

理論依據(jù)在于，實(shí)現(xiàn)L3級(jí)智能駕駛的關(guān)鍵在于全面感知，主要依賴海量+長(zhǎng)尾場(chǎng)景數(shù)據(jù)驅(qū)動(dòng)算法升級(jí)優(yōu)化；其中，無(wú)圖場(chǎng)景覆蓋還需低線城市數(shù)據(jù)（vs.當(dāng)前車(chē)載算力已基本滿足L3-L4級(jí)需求）。

而當(dāng)前階段，海量+長(zhǎng)尾場(chǎng)景數(shù)據(jù)的獲取就要依靠車(chē)載傳感器（攝像頭）的大幅升級(jí)。

根據(jù)Yole報(bào)告，自動(dòng)駕駛L1-L3所需的攝像頭數(shù)量翻倍增長(zhǎng)，比如L1-L2級(jí)僅需前后兩顆攝像頭，到L3就要20顆。

而實(shí)際上，主機(jī)廠為后續(xù)OTA升級(jí)預(yù)留冗余，單車(chē)攝像頭配置遠(yuǎn)超本級(jí)所需的攝像頭數(shù)量，如特斯拉Model 3搭載9顆，蔚來(lái)、小鵬、理想車(chē)型達(dá)到10-13顆。

此外，因大模型對(duì)感知數(shù)據(jù)的精細(xì)化要求，高分辨率圖像數(shù)據(jù)可以作為深度學(xué)習(xí)模型中更新和優(yōu)化其架構(gòu)的參數(shù)的數(shù)據(jù)源，尤其是前視攝像頭，需要解決的場(chǎng)景最多，目標(biāo)識(shí)別任務(wù)最復(fù)雜，比如遠(yuǎn)距離小目標(biāo)識(shí)別、近距離目標(biāo)切入識(shí)別。

為了對(duì)更遠(yuǎn)距離的目標(biāo)進(jìn)行識(shí)別和監(jiān)測(cè)，車(chē)載攝像頭就要向800萬(wàn)像素或更高升級(jí)。典型如百度Apollo，就已聯(lián)合索尼、聯(lián)創(chuàng)與黑芝麻智能，全球首創(chuàng)了超1500萬(wàn)高像素車(chē)載攝像頭模組。

而在提高感知能力這件事上，還有兩個(gè)所有車(chē)企都想繞開(kāi)的坎，高精地圖和激光雷達(dá)。

高精度地圖作為先驗(yàn)信息，可以給自動(dòng)駕駛提供大量的安全冗余，在數(shù)據(jù)和算法尚未成熟之前，主機(jī)廠依賴程度較高。而脫圖的原因也比較好理解：

1）高精地圖存在更新周期長(zhǎng)、成本高、圖商資格收緊等弊端，限制了高階自動(dòng)駕駛大規(guī)模商業(yè)化的可能性。

2）構(gòu)建數(shù)據(jù)閉環(huán)，形成對(duì)算法模型的迭代升級(jí)反哺車(chē)端。

至于如何脫圖，特斯拉的辦法是引入車(chē)道線網(wǎng)絡(luò)及新的數(shù)據(jù)標(biāo)注方法，國(guó)內(nèi)自動(dòng)駕駛頭部公司則采取車(chē)端實(shí)時(shí)建圖方案，通過(guò)安裝在車(chē)輛上的相機(jī)等傳感器來(lái)構(gòu)建車(chē)輛行駛過(guò)程中周?chē)沫h(huán)境地圖。

目前小鵬、華為等頭部主機(jī)廠發(fā)布無(wú)高精地圖的高階智能駕駛方案，并定下量產(chǎn)時(shí)間表，華為、毫末、元戎啟行等自動(dòng)駕駛公司也加入其中，自動(dòng)駕駛算法“重感知，輕地圖”趨勢(shì)明確。

激光雷達(dá)則是因?yàn)槌杀締?wèn)題。

激光雷達(dá)在距離和空間信息方面具有精度優(yōu)勢(shì)，搭載激光雷達(dá)的多傳感器融合感知方案可通過(guò)互補(bǔ)達(dá)到全環(huán)境感知能力，為高級(jí)別自動(dòng)駕駛提供安全冗余。

但激光雷達(dá)也的確是成本大戶，早些年除了特斯拉，幾乎所有成熟的無(wú)人駕駛技術(shù)方案都采用了64位激光雷達(dá)，它的成本約人民幣70萬(wàn)元，一個(gè)小雷達(dá)抵得上一輛車(chē)甚至幾輛車(chē)。

特斯拉利用占用網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)類(lèi)似激光雷達(dá)的感知效果，國(guó)內(nèi)主機(jī)廠由于機(jī)器視覺(jué)算法的缺失，預(yù)計(jì)仍將激光雷達(dá)作為重要的補(bǔ)充傳感器，由此可減少在視覺(jué)領(lǐng)域所需積累的數(shù)據(jù)量。

另外4D成像毫米波雷達(dá)或?qū)⑼耆娲?D毫米波雷達(dá)，有望對(duì)低線激光雷達(dá)形成替代。

與激光雷達(dá)相比，4D成像毫米波雷達(dá)部分指標(biāo)近似達(dá)到16線激光雷達(dá)性能，但成本僅為激光雷達(dá)十分之一。

特斯拉基于全新的自動(dòng)駕駛硬件HW4.0，首次在S/X的車(chē)型上搭載了4D毫米波雷達(dá)。除特斯拉外，價(jià)格在40萬(wàn)元以下的理想車(chē)型和價(jià)格在70萬(wàn)以上的寶馬車(chē)型、以及通用收購(gòu)的Cruise自動(dòng)駕駛服務(wù)車(chē)均于近兩年完成了4D毫米波雷達(dá)布局。同時(shí)大陸、采埃孚等汽車(chē)Tier-1巨頭基本完成對(duì)該領(lǐng)域的布局。

4

尾聲

8月，馬斯克親自上線開(kāi)啟了一場(chǎng)FSD Beta V12的試駕直播，45分鐘內(nèi)FSD Beta V12系統(tǒng)在行駛?cè)踢M(jìn)展非常順利，能夠輕松繞過(guò)障礙物，識(shí)別道路各種標(biāo)志。

馬斯克激動(dòng)地表示：

V12系統(tǒng)從頭到尾都是通過(guò)AI實(shí)現(xiàn)。我們沒(méi)有編程，沒(méi)有程序員寫(xiě)一行代碼來(lái)識(shí)別道路、行人等，全部交給了神經(jīng)網(wǎng)絡(luò)。

而這一切是建立在巨量的「視頻數(shù)據(jù)」和1萬(wàn)個(gè)H100之上。

遺憾的是，這兩個(gè)戰(zhàn)略性資源都不是國(guó)內(nèi)主機(jī)廠能夠輕易追趕上的。

參考資料

[1] 你知道么，自動(dòng)駕駛竟然已存在27年？佚名

[2] 智能駕駛芯片算力越大就越好嗎，遠(yuǎn)川汽車(chē)評(píng)論

[3] 大模型應(yīng)用下自動(dòng)駕駛賽道將有哪些變化？天風(fēng)證券

[4] AI大模型應(yīng)用于汽車(chē)智能駕駛梳理：吐故納新，如日方升，光大證券

[5] ALVINN探秘：一輛來(lái)自1989年的自動(dòng)駕駛汽車(chē)，雷鋒網(wǎng)

[6] 爆火的ChatGPT，能讓自動(dòng)駕駛更快實(shí)現(xiàn)嗎？鈦媒體

[7] 馬斯克直播試駕特斯拉FSD V12！端到端AI自動(dòng)駕駛，1萬(wàn)塊H100訓(xùn)練，新智元

編者按：本文轉(zhuǎn)載自微信公眾號(hào)：解碼Decode(ID：kankeji001)，作者：解碼工作室