賈浩楠 發(fā)自 副駕寺智能車參考 | 公眾號 AI4Auto

自動駕駛?cè)?，竟也卷成這樣！

3000元，比一次高檔汽車貼膜服務(wù)，或一個洗車店年卡更便宜…

但它是現(xiàn)在最新量產(chǎn)L2+智能駕駛底層套件的成本價——

3000元，帶1個前視相機、4個魚眼相機、2個后角雷達、12個超聲波雷達，算力5TOPS。能實現(xiàn)的卻是高階行泊一體智駕功能。

包括高速、城市快速路上的無圖NOH （領(lǐng)航輔助）?，短距離記憶泊車。

系列產(chǎn)品還有5000、8000元版本，分別搭載不同價位車型，實現(xiàn)城市NOH功能。但同樣突出超高功能體驗下相對的超輕傳感器方案、超低算力需求。

不是期貨，而是明年就量產(chǎn)上車的現(xiàn)貨。

L2++體驗的入門門檻被卷到3000元成本，行業(yè)前所未見。

智駕落地新“卷王”，不是新面孔，而是之前業(yè)內(nèi)一直有“最懂量產(chǎn)自動駕駛”之名的毫末智行。

智駕新卷王，高階智駕極致性價比

量產(chǎn)智駕系統(tǒng)市場上很多，但在2023年這個時間點，明確區(qū)分“高階”的，是是否具備領(lǐng)航輔助功能，也就是常說的NOA能力。

在領(lǐng)航輔助功能開啟下，ADAS自主識別車道線、路上的其他目標(biāo)，包括紅綠燈在內(nèi)的交通標(biāo)志，實時制定駕駛策略。

最重要的，是根據(jù)導(dǎo)航信息自助規(guī)劃路線，包括什么時候進出匝道、何時離開環(huán)島，什么時候準(zhǔn)備變道轉(zhuǎn)彎等等。

簡單的理解，就是用戶不用直接承擔(dān)駕駛?cè)蝿?wù)，只作為安全員，負(fù)擔(dān)大大減輕。

根據(jù)落地場景的復(fù)雜程度，NOA又分成高速和城市兩種，對應(yīng)著不同的方案和成本。

毫末智行的相關(guān)產(chǎn)品，叫做NOH。毫末智行董事長張凱，剛剛在AI Day上發(fā)布了支持量產(chǎn)NOH功能的最新智駕硬件方案產(chǎn)品。

最大的特征，總結(jié)成一句話：高速NOH起步標(biāo)配，極致性價比前所未有。

HP170，成本3000元級“極致性價比”智駕硬件方案，但其實在行業(yè)平均水平中已經(jīng)實現(xiàn)了高階的功能能體驗。實現(xiàn)高速上和城市快速路上的NOH功能，以及自主泊車能力，而且比常見的量產(chǎn)方案更近一步。

高速或城市快速路NOH，不依賴高精地圖；而自主泊車能力，支持短距離記憶功能。

不依賴高精地圖意味著更廣泛更快速的城市能夠解鎖NOH；記憶泊車，則大大方便了有固定車位的用戶。

硬件配置上，算力5TOPS，傳感器方案標(biāo)配1個前視相機、4個魚眼相機、2個后角雷達、12個超聲波雷達，靈活選裝1個前視雷達和2個前角雷達。

毫末HP370，5000元級，實現(xiàn)的功能同樣是“極致性價比”。除了高速、城市快速路的NOH，還支持城市內(nèi)的記憶行車功能。泊車層面也有升級，實現(xiàn)免教學(xué)記憶泊車、智能繞障。

城市內(nèi)記憶行車，就是今年流行的“通勤NOA”功能：系統(tǒng)可以通過訓(xùn)練，記住你常走的上下班路線，實現(xiàn)這一特定路段上的高階領(lǐng)航輔助。這也是在成本和法規(guī)限制下，瞄準(zhǔn)最高頻需求推出的高階智駕落地方案。

HP370底層算力32TOPS，傳感器方案標(biāo)配2個前視相機、2個側(cè)視相機、1個后視相機、4魚眼相機、1個前雷達、2個后角雷達、12個超聲波雷達，靈活選裝2個前角雷達。

最后還有一個HP570，可實現(xiàn)全場景城市無圖NOH、全場景輔助泊車、全場景智能繞障、跨層免教學(xué)記憶泊車等功能。

功能拉滿，體驗最強，實現(xiàn)了“從P檔到P檔”的智能駕駛能力。這樣的量產(chǎn)智駕天花板方案，之前在業(yè)界至少是數(shù)萬元成本，毫末的“極致性價比”體現(xiàn)在官宣成本為8000元。

算力可選72TOPS和100TOPS兩款芯片，傳感器方案標(biāo)配2個前視相機、4個側(cè)視相機、1個后視相機、4個魚眼相機、1個前雷達、12個超聲波雷達，還支持選配1顆激光雷達。

簡單科普一下智能駕駛量產(chǎn)落地目前的普遍情況：實現(xiàn)高速NOH，一般供應(yīng)商方案至少需要20TOPS起步，平均數(shù)十TOPS的算力支持，傳感器方案，也都在視覺和毫米波之外標(biāo)配至少1個激光雷達。

而上升到城市NOH功能，則至少是254TOPS算力的英偉達Orin芯片起步，有的還要數(shù)顆，傳感器一般是前向及補盲激光雷達至少3顆。

毫末智行董事長張凱這樣評價這些方案：

毫末第二代HPilot的三款智駕產(chǎn)品把價格打到了3000元級、5000元級、8000元級的極致低位，同時性能都打了上去,讓輔助駕駛產(chǎn)品成為最平民化的日用級消費品.

中低階智駕便宜更好用，讓高階智駕好用更便宜

所以毫末量產(chǎn)智駕硬件方案的最大特征，也是行業(yè)“卷王”級成本的直接原因，就是擺脫了重傳感器依賴，也自然用不到過大的算力支持。

但這種方案能保證可靠，并且達到量產(chǎn)條件的根本原因，還是要從毫末CEO顧維灝一季一度的AI Day“自動駕駛前沿技術(shù)分享”中找答案。

毫末為什么卷成這樣？

毫末智行量產(chǎn)智駕硬件方案的最大不同，是無論3000、5000、8000元級的產(chǎn)品，激光雷達都是“非必要不增加”，突出以視覺為主的智能駕駛能力。

而激光雷達省下來的，不光是傳感器采購的直接成本。

激光雷達除了貴（一個幾千元），另一個不理想之處是其產(chǎn)生的點云圖數(shù)據(jù)量大，回波噪聲不好抑制，需要占用系統(tǒng)大量的計算資源。

想要低算力實現(xiàn)高功能，又不增加額外成本，就必須要在視覺能力上取得突破。

毫末給出了這樣的直觀數(shù)據(jù)。

截止目前，共計篩選出超過100億幀互聯(lián)網(wǎng)圖片數(shù)據(jù)集，和480萬段包含人駕行為的自動駕駛4D Clips數(shù)據(jù)（帶有時間特征的連續(xù)視頻片段），總學(xué)習(xí)時長超過103萬小時。

乘用車用戶輔助駕駛行駛里程已經(jīng)接近9000萬公里。注意這不是模擬仿真訓(xùn)練里程，而是毫末智行已經(jīng)量產(chǎn)上車的產(chǎn)品，由用戶實際使用產(chǎn)生的高價值數(shù)據(jù)。

上一次毫末公布相關(guān)數(shù)據(jù)是在200多天以前，學(xué)習(xí)時長和用戶實際使用里程還分別是56萬小時和4000萬公里。

毫末在量產(chǎn)智駕方案上的快速降本卷到極致，本質(zhì)是視覺自動駕駛能力的迭代進步。而迅速從行業(yè)內(nèi)卷中脫穎而出，拿出史無前例的性價比方案，說明毫末AI能力進步的“加速度”已經(jīng)今非昔比。

“大模型”引入自動駕駛，是核心原因，當(dāng)然毫末依然是行業(yè)第一家。

DriveGPT，中文名雪湖·海若，是毫末的自動駕駛大模型技術(shù)體系。

DriveGPT在今年初提出來，是首先應(yīng)用于自動駕駛認(rèn)知決策模塊，采用的是生成式預(yù)訓(xùn)練思路，只不過訓(xùn)練的數(shù)據(jù)從語言文本，變成了圖片、視頻等等自動駕駛數(shù)據(jù)。

實現(xiàn)過程分為3步：

首先在預(yù)訓(xùn)練階段引入量產(chǎn)智能駕駛數(shù)據(jù)，訓(xùn)練出一個初始模型，相當(dāng)于一個具備基本駕駛技能的AI司機。

然后再引入量產(chǎn)數(shù)據(jù)中高價值的用戶接管片段（Clips形式），訓(xùn)練反饋模型。而不同Corner Case的依次迭代，相當(dāng)于針對不同駕駛?cè)蝿?wù)挑戰(zhàn)分別強化AI司機的技能。

接下來就是通過強化學(xué)習(xí)的方法，使用反饋模型不斷優(yōu)化迭代初始模型。

所謂“生成”，反饋模型能夠?qū)崟r根據(jù)當(dāng)前交通流情況，生成不同的針對性場景，訓(xùn)練初始模型。而完成迭代后，模型也能對同一任務(wù)目標(biāo)生成不同的策略方案。

DriveGPT參數(shù)1200億。DriveGPT模型本身始終部署在云端，直接“上車”還需要時間。但大模型本身可以對自動駕駛數(shù)據(jù)挖掘和訓(xùn)練起到加速作用，同時也能通過駕駛決策模型參數(shù)、效果的擬合學(xué)習(xí)，直接對車端用戶，價值卻是能夠快速兌現(xiàn)。比如生成式模型能夠做到智能捷徑推薦、困難場景自主脫困、智能陪練等等。

公布200多天，DriveGPT又有了新的技術(shù)層面進展，這也是理解毫末“卷王”的核心。

視覺感知網(wǎng)絡(luò)架構(gòu)，從之前ViT（Vision Transformer）為代表的大模型，升級到性能更強大的Swin Transformer大模型。從訓(xùn)練范式上，毫末率先采用基于大規(guī)模數(shù)據(jù)的自監(jiān)督學(xué)習(xí)訓(xùn)練范式，采用Transformer大模型輕松“吃下”上百億的圖片，模型變得見多識廣，泛化能力極強，逐漸可以識別萬物。

現(xiàn)在，最新的大模型是采用視頻生成的方式來訓(xùn)練，通過預(yù)測生成視頻下一幀的方式，來構(gòu)建4D表征空間，使得CV Backbone能夠?qū)W到三維的幾何結(jié)構(gòu)、圖片紋理、時序信息等全面的物理世界信息，相當(dāng)于把整個世界裝入到神經(jīng)網(wǎng)絡(luò)當(dāng)中。

在視覺感知模型的架構(gòu)、訓(xùn)練流程更新之外，毫末還做了一件事，就是引入外部的大模型，使得自動駕駛在感知和認(rèn)知層面，具備通用能力，可以識別萬物，具有世界知識，能力媲美人類老司機。

感知模型方面，引入NeRF技術(shù)，通過預(yù)測視頻下一幀的自監(jiān)督方式來構(gòu)建4D編碼空間，即將一個Clips序列的前K幀的部分輸入模型，用NeRF（神經(jīng)輻射場）渲染出后續(xù)H幀。

這樣通用感知大模型就可以分為3個關(guān)鍵的模塊：4D編碼器、多模態(tài)教師、NeRF渲染器。其中，4D編碼器將視頻中的時空特征編碼到一個4D特征空間里；多模態(tài)教師模型是一個預(yù)訓(xùn)練好的多模態(tài)大模型，可以將視覺特征對齊到文本語義特征。

NeRF渲染器則通過預(yù)測未來視頻的方式，用來監(jiān)督4D 特征空間中對世界的感知能力。通過這種方法，毫末DriveGPT構(gòu)建起更有效、更見多識廣的自動駕駛通用感知大模型，實現(xiàn)在一個模型中同時學(xué)習(xí)到空間的三維幾何結(jié)構(gòu)、語義分割和紋理信息，具備識別萬物的能力，也由此更好地完成目標(biāo)檢測、目標(biāo)跟蹤、深度預(yù)測等各類感知任務(wù)。

認(rèn)知層面，一個老司機不僅僅只會操控汽車，還必須具備人類社會的常識，懂得這個世界的普遍規(guī)律，或者說世界知識。但這種世界知識僅僅通過自動駕駛數(shù)據(jù)是難以學(xué)到的，而大語言模型LLM已經(jīng)學(xué)習(xí)并壓縮了人類社會的全部知識，所以引入大語言模型來輔助駕駛決策是一個非常有效的途徑。

為了讓LLM更好地適配自動駕駛?cè)蝿?wù)，毫末采用自動駕駛行業(yè)數(shù)據(jù)，對LLM進行了微調(diào)，使得LLM能看懂駕駛環(huán)境、能解釋駕駛行為，做出更優(yōu)的駕駛決策。

這樣，認(rèn)知大模型除了獲得感知大模型看到的物理世界信息之外，也能像老司機一樣具備社會常識、知道這個世界各種現(xiàn)象背后的物理知識，從而像老司機一樣駕駛。

，時長01:48

這些技術(shù)層面的創(chuàng)新，讓毫末的模型結(jié)構(gòu)、訓(xùn)練方式，以及對世界理解認(rèn)知層面能力提升，而服務(wù)的主要對象，是視覺感知能力，也實實在在的反應(yīng)在量產(chǎn)方案的降本增效上。

比如將視覺感知能力引入到泊車場景中，并結(jié)合視覺BEV的感知框架，使毫末視覺感知模型使用魚眼相機可以識別墻、柱子、車輛等各類型的邊界輪廓，形成360度的全視野動態(tài)感知，可以做到在15米范圍內(nèi)達到30cm的測量精度，2米內(nèi)精度可以高于10cm。這樣的精度可實現(xiàn)用視覺取代USS，從而進一步降低整體智駕方案成本。

再比如，毫末城市NOH可以在城市道路場景中，在時速最高70公里的50米距離外，就能檢測到大概高度為35cm的小目標(biāo)障礙物，可以做到100%的成功繞障或剎停。這就是擺脫激光雷達依賴的一個體現(xiàn)。

為什么毫末能在量產(chǎn)商業(yè)化上卷到如此程度？

毫末智行CEO顧維灝給出的解答是：

大模型、大數(shù)據(jù)、大算力，成為自動駕駛公司邁入3.0時代的關(guān)鍵標(biāo)志。在感知階段，通過海量的數(shù)據(jù)訓(xùn)練感知基礎(chǔ)模型，學(xué)習(xí)并認(rèn)識客觀世界的各種物體；在認(rèn)知階段，則通過海量司機的駕駛行為數(shù)據(jù)，來學(xué)習(xí)駕駛常識，通過數(shù)據(jù)驅(qū)動的方式不斷迭代并提升整個系統(tǒng)的能力水平。

很慶幸，毫末從一開始就在為自動駕駛3.0時代作準(zhǔn)備。在感知、認(rèn)知、智算中心的建設(shè)上，毫末都是按照數(shù)據(jù)驅(qū)動的方式建設(shè)的

與主機廠緊密的聯(lián)系讓毫末對工程化、成本控制理解深刻，敏銳的捕捉自動駕駛最先進最前沿技術(shù)，并率先落地應(yīng)用。

如何評價？

毫末智行如今要加上一個新的標(biāo)簽：落地最卷的自動駕駛公司。

之前它有“量產(chǎn)自動駕駛第一名”的評價，現(xiàn)在也正在代表著量產(chǎn)自動駕駛產(chǎn)品方案、落地趨勢的benchmark：

Transformer的引入和計算基礎(chǔ)設(shè)施建設(shè)的成熟，使高階智能駕駛落地競爭，由獨特價值提供，轉(zhuǎn)向增量價值的競爭。

毫末迅速適應(yīng)了這樣的變化拿出3000元成本的產(chǎn)品，意味著用戶端可以在20萬以下甚至10萬級的乘用車上標(biāo)配高階智能駕駛，真正享受黑科技的紅利。所以是高階自動駕駛開始普及的信號和里程碑。

毫末智行本身，成為量產(chǎn)自動駕新卷王，核心原因是它代表了自動駕駛最先進前沿技術(shù)的應(yīng)用方向。從最早引入Transfomer、到大模型率先應(yīng)用，以及現(xiàn)在在訓(xùn)練端引入類似LoRA圖片生成模型之類的技術(shù)……這些技術(shù)在毫末這里，還能快速產(chǎn)生價值，反應(yīng)在落地量產(chǎn)的產(chǎn)品迭代中。

這也讓毫末一季一度的AI DAY，成為了自動駕駛技術(shù)方向上風(fēng)行標(biāo)性質(zhì)的活動。

不夸張地說，如果想要保持對自動駕駛技術(shù)最核心的關(guān)注，最高效的方式就是關(guān)注好毫末每個季度的AI DAY。

之前還有特斯拉AI DAY、自動駕駛?cè)?，但因為今年的跳票，業(yè)內(nèi)響亮的“學(xué)習(xí)機會”就只剩毫末了。
而在背后更加值得注意的，是毫末智行代表的自動駕駛技術(shù)體系的變革，正越來越深刻的理解并應(yīng)用大語言模型的范式和具體思路。

自動駕駛的GPT時刻、iPhone時刻正在隱隱轟鳴。

這樣的轉(zhuǎn)折，可能并不是在實驗室中實現(xiàn)然后再向用戶推廣。更有可能是毫末、特斯拉這樣的漸進式量產(chǎn)自動駕駛玩家，在持續(xù)的交付和迭代的商業(yè)運營過程中率先突破。