強(qiáng)化學(xué)習(xí)+世界模型，絕影構(gòu)建VLAR技術(shù)架構(gòu)，突破端到端瓶頸
·R-UniAD創(chuàng)新鏈路：挖掘復(fù)雜場景、4D仿真復(fù)現(xiàn)、強(qiáng)化學(xué)習(xí)、泛化驗(yàn)證
·近實(shí)時在線交互的4D世界模型“絕影開悟2.0”，生成式智駕R-UniAD的核心基石
·絕影輔助駕駛目前已合作4家車企，上車7款車型，基于地平線征程®6、英偉達(dá)DIRVE AGX Thor平臺打造的方案將在今年上車東風(fēng)、奇瑞等車企伙伴
隨著輔助駕駛普及的不斷深入，公眾越來越關(guān)注駕駛系統(tǒng)的安全性，期待輔助駕駛帶來更安全也更流暢的智慧出行體驗(yàn)。只是許多輔助駕駛方案在遇到新場景時難以妥善處理，事故時有發(fā)生，暴露出當(dāng)前技術(shù)方案的諸多瓶頸。
想要提高安全性，端到端模型需要海量高質(zhì)量數(shù)據(jù)訓(xùn)練，然而，即使是百萬量產(chǎn)車回流的數(shù)據(jù)量，極端場景有效信息提取率不足1%。
不僅如此，因?yàn)槎说蕉说姆妒绞悄７聦W(xué)習(xí)，遇到?jīng)]有見過的新場景，它的駕駛決策存在很大的不確定性，安全邊界模糊，給駕駛安全帶來風(fēng)險(xiǎn)，更難以超越人類的駕駛能力。
因此，商湯絕影發(fā)布了生成式智駕R-UniAD技術(shù)方案，將強(qiáng)化學(xué)習(xí)引入到智能駕駛，讓端到端智駕與世界交互的不斷深入，通過生成的方式真實(shí)還原并深度理解駕駛環(huán)境，從而主動預(yù)測并處理復(fù)雜狀況，驗(yàn)證輔助駕駛的安全邊界，讓駕駛安全更有確定性、更加值得信賴，并且超越人類的駕駛極限，為智能駕駛行業(yè)樹立了新路標(biāo)。
商湯絕影構(gòu)建VLAR架構(gòu)，突破端到端數(shù)據(jù)、安全、性能三大瓶頸
人工智能技術(shù)的發(fā)展和進(jìn)步推動著智能駕駛的演進(jìn)。一開始的智駕都是規(guī)則式的，主要通過物理模型和邏輯預(yù)定義等方式來實(shí)現(xiàn)輔助駕駛的基礎(chǔ)功能執(zhí)行，但面對復(fù)雜場景略顯乏力。隨著神經(jīng)網(wǎng)絡(luò)的引入和AI大模型的出現(xiàn)，商湯絕影2022年發(fā)布了行業(yè)首個感知決策一體化的智駕通用模型UniAD，并榮獲CVPR 2023最佳論文，引領(lǐng)了智能駕駛行業(yè)的創(chuàng)新潮流，智駕進(jìn)入到端到端時代，模型學(xué)會類人交互，性能表現(xiàn)大幅提升。
隨著端到端路線探索和實(shí)踐的持續(xù)深入，它開始觸及瓶頸。首先，端到端是通過海量的高質(zhì)量人類駕駛數(shù)據(jù)學(xué)習(xí)和訓(xùn)練，比如特斯拉就以超700萬輛量產(chǎn)車形成的數(shù)據(jù)回流來訓(xùn)練端到端模型，但人類的日常駕駛中，極難遇到像車禍等極端場景，這導(dǎo)致了僅有不超過1%的數(shù)據(jù)可用于最終訓(xùn)練，高價(jià)值數(shù)據(jù)的稀缺性成為制約端到端訓(xùn)練的一大瓶頸。
另一方面，由于端到端的本質(zhì)是對人類駕駛行為的最佳模仿，遇到?jīng)]有見過的新場景，端到端方案的駕駛決策存在很大的不確定性，為駕駛安全帶來風(fēng)險(xiǎn)，同時，基于模仿學(xué)習(xí)的技術(shù)范式可以做到接近人類但難以突破人類能力上限。因此，性能和安全性也成為了端到端發(fā)展的兩大瓶頸。
今年年初，DeepSeek-R1基于純強(qiáng)化學(xué)習(xí)的關(guān)鍵創(chuàng)新引發(fā)了廣泛的關(guān)注，基于強(qiáng)化學(xué)習(xí)的大模型技術(shù)路線可以遷移到端到端輔助駕駛算法的訓(xùn)練與研發(fā)之中。2025年2月，商湯絕影發(fā)布了行業(yè)首個與世界模型協(xié)同交互的端到端技術(shù)方案R-UniAD，通過世界模型生成在線交互的仿真環(huán)境，以此進(jìn)行端到端模型的強(qiáng)化學(xué)習(xí)訓(xùn)練，行業(yè)開始邁向生成式智駕。
本屆上海車展上，商湯絕影全面展示了R-UniAD技術(shù)方案，基于世界模型和強(qiáng)化學(xué)習(xí)兩大核心技術(shù)，構(gòu)建集“視覺-語言-行動-強(qiáng)化學(xué)習(xí)”于一體的VLAR技術(shù)架構(gòu)，實(shí)現(xiàn)生成式智駕的核心突破。
基于世界模型和強(qiáng)化學(xué)習(xí)，絕影構(gòu)建集“視覺-語言-行動-強(qiáng)化學(xué)習(xí)”于一體的VLAR技術(shù)架構(gòu)
商湯絕影的R-UniAD是「多階段強(qiáng)化學(xué)習(xí)」端到端技術(shù)方案，具體分為三個階段，首先是依靠冷啟動數(shù)據(jù)通過模仿學(xué)習(xí)進(jìn)行云端的端到端輔助駕駛大模型訓(xùn)練；然后基于強(qiáng)化學(xué)習(xí)，讓云端的端到端大模型與世界模型協(xié)同交互，持續(xù)提升端到端模型的性能；最后云端大模型通過高效蒸餾的方式，實(shí)現(xiàn)高性能端到端輔助駕駛小模型的車端部署。
這三個階段的核心在于第二階段的“強(qiáng)化學(xué)習(xí)與世界模型”，也就是VLAR技術(shù)架構(gòu)。在VLAR技術(shù)架構(gòu)的支持下，R-UniAD能夠重構(gòu)萬千世界，讓實(shí)采Corner Case數(shù)據(jù)需求降低2個量級；同時依托云端超100萬案例和1024場景類型，構(gòu)建更加精確、全面的虛擬測試場景，充分探索安全邊界，賦予了輔助駕駛有確定性的安全感，最終通過不斷地強(qiáng)化學(xué)習(xí)訓(xùn)練出來的模型，相較于人類駕駛員的碰撞率降低1個量級，實(shí)現(xiàn)遠(yuǎn)超人類的駕駛能力。
R-UniAD如何讓安全更有確定性：挖掘復(fù)雜場景、4D仿真復(fù)現(xiàn)、強(qiáng)化學(xué)習(xí)、泛化驗(yàn)證
因?yàn)楦黝愂┕し雷o(hù)設(shè)施搭配不同的空間布局，組合繁雜多變，所以施工占道場景是輔助駕駛領(lǐng)域的棘手難題，也是交通事故頻發(fā)的重要場景。上海車展發(fā)布會上，商湯絕影現(xiàn)場演示了針對“施工占道剎停”場景，R-UniAD如何依托“VLAR”增強(qiáng)模型能力。
首先，以“施工占道剎停”路測視頻作為輸入，即自車因?yàn)闆]有識別錐桶封路，在施工區(qū)域進(jìn)行急剎。
接下來是R-UniAD對這個場景基于“絕影開悟”世界模型進(jìn)行4D仿真復(fù)現(xiàn)。第一步是把案例視頻進(jìn)行解耦，分為3D的動態(tài)前景與靜態(tài)背景；第二步，使用物理引擎、3DGS等重建和渲染技術(shù)對場景進(jìn)行復(fù)現(xiàn)；第三步，用“絕影開悟”世界模型對場景細(xì)節(jié)進(jìn)行修復(fù)，讓場景變得更加逼真。
完成這三步的流程，傳統(tǒng)方案需要數(shù)天時間，R-UniAD僅需幾個小時就能完成，而且場景更為精細(xì)可控，一致性達(dá)到了95%，相比單一的3DGS技術(shù)提高了1.5倍。
然后就是進(jìn)行針對性強(qiáng)化學(xué)習(xí)的訓(xùn)練。在閉環(huán)仿真工具鏈中設(shè)置對“施工占道剎停”案例自車軌跡的Reward計(jì)算維度和分值，包括最大最小加速度、是否到達(dá)終點(diǎn)、是否違反交通規(guī)則、是否碰撞等維度，并根據(jù)規(guī)則進(jìn)行組合計(jì)算。端到端模型就在仿真環(huán)境中自行駕駛，系統(tǒng)根據(jù)自車軌跡給予相應(yīng)Reward分值反饋。
在初期訓(xùn)練中，自車因?yàn)闆_入對向車道或者同向車道被扣分，如果能夠及時剎停變道，就會得到高分。端到端模型不斷生成該場景下各種可能駕駛策略，并與世界模型生成的環(huán)境交互，通過數(shù)千次強(qiáng)化學(xué)習(xí)訓(xùn)練，經(jīng)過不斷評分反饋，端到端模型會找到最優(yōu)路徑，能預(yù)判施工占道，絲滑變道繞行。
最后，經(jīng)過泛化訓(xùn)練后，再遇到類似前方障礙物場景，端到端模型也能及時變道，并顯著提升對此類施工場景的泛化交互能力。