上海AILab王靖博：人形機(jī)器人，從“盲動”走向“感知驅(qū)動”
雷峰網(wǎng)訊 12月12日，盲動第八屆 GAIR 全球人工智能與機(jī)器人大會于深圳正式拉開帷幕。上海
本次大會為期兩天，靖博機(jī)器由GAIR研究院與雷峰網(wǎng)聯(lián)合主辦，人形人高文院士任指導(dǎo)委員會主席，感知楊強(qiáng)院士與朱曉蕊教授任大會主席。驅(qū)動大會共開設(shè)三個主題論壇，盲動聚焦大模型、上海具身智能、靖博機(jī)器算力變革、人形人強(qiáng)化學(xué)習(xí)與世界模型等多個議題，感知描繪AI最前沿的驅(qū)動探索群像，折射學(xué)界與產(chǎn)業(yè)界共建的盲動智能未來。
作為 AI 產(chǎn)學(xué)研投界標(biāo)桿盛會，上海GAIR自2016年創(chuàng)辦以來，靖博機(jī)器始終堅守 "傳承+創(chuàng)新" 內(nèi)核，是 AI 學(xué)界思想接力的陣地、技術(shù)交流的平臺，更是中國 AI 四十年發(fā)展的精神家園。過去四年大模型驅(qū)動 AI 產(chǎn)業(yè)加速變革，歲末年初 GAIR 如約而至，以高質(zhì)量觀點(diǎn)碰撞，為行業(yè)與大眾呈現(xiàn)AI時代的前沿洞見。
在12月13日的"數(shù)據(jù)&一腦多形"專場，上海人工智能實(shí)驗室青年科學(xué)家王靖博進(jìn)行了以《從虛擬走向現(xiàn)實(shí)，構(gòu)建通用人形機(jī)器人控制與交互策略》為主題的演講。
長期以來，人形機(jī)器人的研究是否必要一直存在著爭議。演講伊始，王靖博博士就對此做出了回應(yīng)。他指出，由人類搭建的真實(shí)生活環(huán)境，也面向人類的各種需求，這決定了人形必然是一種相對通用的方案。在數(shù)據(jù)維度，互聯(lián)網(wǎng)上有大量來源于人類日常生活的第一人稱及第三人稱數(shù)據(jù)，其中包含的運(yùn)動邏輯和操作邏輯，對于模型訓(xùn)練來說都是可用資源。在應(yīng)用層，人形機(jī)器人的交互邏輯、安全性等研究，最終也會回饋到人自身。
而人形機(jī)器人現(xiàn)階段研究的核心問題之一，就是如何在仿真中訓(xùn)練機(jī)器人，并使其在真實(shí)世界中實(shí)現(xiàn)穩(wěn)定、可泛化的運(yùn)動與控制。由于仿真環(huán)境與真實(shí)物理世界之間存在的差異，人形機(jī)器人的技能訓(xùn)練與部署長期面臨著Sim2Real的鴻溝。對此，王靖博博士介紹了其團(tuán)隊的最新成果，通過對日常生活環(huán)境的集成性構(gòu)造，以及創(chuàng)新的感知和表示方案，顯著提升了復(fù)雜地形下運(yùn)動策略的遷移成功率。其核心在于用體素化的點(diǎn)云表示壓縮環(huán)境信息，并在仿真中引入機(jī)器人本體的激光雷達(dá)自掃描，以更好地對齊仿真與真實(shí)的傳感器數(shù)據(jù)分布，從而使機(jī)器人能提前感知地形變化，如臺階、吊頂，并預(yù)先規(guī)劃動作，而非依賴碰撞后的力反饋。
此外，王靖博博士在演講中提到了構(gòu)建統(tǒng)一的動作技能表征，作為基礎(chǔ)的人形機(jī)器人運(yùn)動控制模型，可以進(jìn)一步拓展在有效的可遷移的人形機(jī)器人感知方案下的動作與技能選擇，使得人形機(jī)器人可以在基礎(chǔ)的運(yùn)動之外完成和場景的交互已經(jīng)多種球類運(yùn)動。
在演講中，王靖博博士進(jìn)一步指出，人形機(jī)器人的控制策略正從"盲走盲動"轉(zhuǎn)向"感知驅(qū)動"，融合視覺、激光雷達(dá)等環(huán)境感知，以實(shí)現(xiàn)機(jī)器人在復(fù)雜、非結(jié)構(gòu)化環(huán)境中的自主導(dǎo)航與交互是必然趨勢。關(guān)于人形機(jī)器人的未來，王靖博博士認(rèn)為，當(dāng)前的模型參數(shù)量和學(xué)習(xí)方式限制了技能容量和更多元控制形式的探索。長遠(yuǎn)來看，構(gòu)建容量更大，更高效利用數(shù)據(jù)的方案，例如離線的監(jiān)督學(xué)習(xí)，是提升機(jī)器人技能通用性和長程控制能力的可行路徑。
以下為王靖博的現(xiàn)場演講內(nèi)容，雷峰網(wǎng)進(jìn)行了不改變原意的編輯整理：
大家好，我是王靖博，來自上海人工智能實(shí)驗室具身智能中心。我們主要研究方向是人形機(jī)器人的技能學(xué)習(xí)以及Sim2Real相關(guān)課題。
我今天的報告是想分享最近人形機(jī)器人全身控制方面的進(jìn)展，正好今天也站在2025年的年底，對明年我覺得比較重要的問題做一些展望。首先很多人會對人形機(jī)器人或者人形角色有這樣的疑問，就是我們?yōu)槭裁磿パ芯窟@樣一個課題。在真實(shí)世界中做機(jī)器人，為什么一定要做成這么一個人形的形態(tài)？在虛擬世界里建模的時候，為什么也特別關(guān)心人類這樣一種特定的對象？
選擇人形角色作為研究對象，主要基于以下三方面原因。首先，現(xiàn)實(shí)物理世界的生活場景大多圍繞人類需求搭建，因此針對人形角色開展的研究方案具備天然的通用性。其次，從數(shù)據(jù)維度分析，除自然風(fēng)光與動物相關(guān)數(shù)據(jù)外，互聯(lián)網(wǎng)中蘊(yùn)藏著海量源于人類日常生活的數(shù)據(jù)集，無論是第一人稱還是第三人稱視角，均包含豐富的人類運(yùn)動與操作邏輯，可為研究提供充足的數(shù)據(jù)支撐。最后，人形角色研究具備顯著的應(yīng)用價值，以自動駕駛領(lǐng)域為例，其核心目標(biāo)之一便是保障人機(jī)交互過程中的安全性，避免車輛對行人造成傷害。綜上，從研究對象的適配性、數(shù)據(jù)資源的豐富度到應(yīng)用場景的實(shí)用性來看，人形角色都是理想的研究載體。
本研究的核心主題聚焦于人形角色中央控制系統(tǒng)的構(gòu)建方法。研究中，所有人形角色的訓(xùn)練均在仿真環(huán)境中完成，最終目標(biāo)是實(shí)現(xiàn)模型從仿真到真實(shí)物理世界的遷移，達(dá)成人形角色的自主化運(yùn)行。具體而言，研究重點(diǎn)關(guān)注以下兩個關(guān)鍵問題：其一，技能的真實(shí)世界落地及仿真到現(xiàn)實(shí)遷移（Sim2Real）的核心要點(diǎn)，包括行走、奔跑、跳躍、下蹲等基礎(chǔ)技能的習(xí)得方式，以及如何在不同人形硬件平臺、高噪聲環(huán)境下完成穩(wěn)定部署，確保機(jī)器人可靠執(zhí)行各類技能；其二，技能的精準(zhǔn)調(diào)用與靈活組合策略，例如上樓梯動作需實(shí)現(xiàn)雙腿交替抬升的協(xié)同控制，側(cè)踢動作則要求單腿支撐身體平衡的同時完成另一腿的精準(zhǔn)抬起。此外，系統(tǒng)還需具備語言指令的精準(zhǔn)理解與執(zhí)行能力，能夠在真實(shí)非結(jié)構(gòu)化地形中實(shí)現(xiàn)無碰撞運(yùn)動，確保人形角色在復(fù)雜場景下的穩(wěn)定運(yùn)行
關(guān)于具體的控制方案怎么做，今天我就不展開細(xì)講了。我想和大家重點(diǎn)探討的，是另一個核心話題——就是如何把高頻感知，也就是perception，和控制策略（control policy）深度結(jié)合起來。
大家可以先想一想：我們?yōu)槭裁幢仨氁龈兄c控制的融合？首先，對于人形機(jī)器人來說，我們肯定不希望它只能在平地上活動吧？那最基礎(chǔ)的一點(diǎn)，它就必須具備理解環(huán)境幾何結(jié)構(gòu)的能力。其次，如果我們想讓它從A點(diǎn)走到B點(diǎn)，再完成拿取物品的任務(wù)，它就必須精準(zhǔn)掌握自己的位置，以及目標(biāo)物體的位置。第三點(diǎn)也很關(guān)鍵，機(jī)器人所處的環(huán)境里不只有它自己——實(shí)際應(yīng)用中，我們往往需要它和其他角色產(chǎn)生交互，所以這種互動能力（interaction）對它來說至關(guān)重要。
基于這幾點(diǎn)，我們可以把問題簡化一下。我們先從最基礎(chǔ)的問題入手，就是人形角色的局部運(yùn)動（local motion）。我們絕不希望人形機(jī)器人只能局限在平地上活動，就像大家在機(jī)器人馬拉松這類視頻里看到的那樣，在平坦地面上，靠人操控?fù)u桿才能移動。
給大家舉個具體的場景：假設(shè)我有一臺人形機(jī)器人，讓它從這個門進(jìn)來，要在一間結(jié)構(gòu)非常復(fù)雜的屋子里活動——這里到處都是障礙物，還有樓梯、吊頂之類的遮擋物，最終目標(biāo)是讓它順利從門口走到二樓的門口。在這個任務(wù)場景下，機(jī)器人的感知需求就會收斂成幾個核心研究方向：比如腳下的地形是什么形態(tài)、周圍的物體是什么、頭頂上方的環(huán)境又是什么樣。我們希望能打造這樣一套控制策略，能夠使得這個人形機(jī)器人在擬人運(yùn)動的同時，把這些所有障礙都避開。
那為了實(shí)現(xiàn)這樣一件事，第一個比較基礎(chǔ)的思路，是用RGB相機(jī)。但用RGB相機(jī)做Sim2Real（仿真到現(xiàn)實(shí)遷移），會面臨不少問題。如果大家用過Isaac Lab這類仿真器就知道，仿真環(huán)境里的光照、紋理和真實(shí)世界差距很大，渲染出來的圖像和真實(shí)場景完全不同。要是基于這種仿真圖像去做Sim2Real遷移，你會發(fā)現(xiàn)訓(xùn)練出的策略根本無法理解真實(shí)世界——在這種情況下，模型完全沒法適配真實(shí)環(huán)境的樣子。第二個問題是RGB相機(jī)缺乏幾何信息。我們做最基礎(chǔ)的局部運(yùn)動（local motion），核心是要理解地形，但RGB圖像沒法直接呈現(xiàn)任何幾何信息，這也是個很棘手的問題。
第二種方案是深度相機(jī)，這也是很多人在研究的方向。早年有些工作，確實(shí)有用深度相機(jī)做環(huán)境重建或者避障的嘗試。但我想做的，是一套不需要預(yù)建地圖的控制策略。而且我們大概率需要讓這個感知方案和最基礎(chǔ)的強(qiáng)化學(xué)習(xí)（RL）策略一起訓(xùn)練，所以深度相機(jī)同樣會存在Sim2Real的鴻溝。在仿真環(huán)境里，深度數(shù)據(jù)都是非常干凈、邊緣銳利的幾何形態(tài)，但在真實(shí)世界中，用深度相機(jī)采集到的數(shù)據(jù)完全不是這樣。另外，深度相機(jī)的感受野也比較小，覆蓋范圍有限。
第三種方案是用激光雷達(dá)這類傳感器。雷達(dá)確實(shí)有優(yōu)勢，它獲取的幾何信息相對準(zhǔn)確，探測范圍也足夠大。但這類幾何傳感器依然存在問題，比如一些異常點(diǎn)（outlayer）很難在仿真中模擬；而且從實(shí)際應(yīng)用角度來說，雷達(dá)掃描會有100到200毫秒的延遲，不像RGB相機(jī)或深度相機(jī)那樣能達(dá)到很高的感知頻率。
其實(shí)總結(jié)一下，我們想做一個優(yōu)秀的、帶感知的局部運(yùn)動（local motion）系統(tǒng)，核心要解決這幾個問題：首先得明確面對的是何種環(huán)境，其次要確定采用什么樣的感知方案，第三是明確對環(huán)境的表征形式，最后還要解決如何與局部運(yùn)動策略進(jìn)行聯(lián)合訓(xùn)練（joint training）的問題。把這幾點(diǎn)綜合起來，就是我們最近開展的一項核心工作。
首先來看環(huán)境構(gòu)建的問題。我們整合了日常生活中可能遇到的多種環(huán)境類型，做了一個集成化的環(huán)境構(gòu)建。比如包含走臺階、高臺，旁邊有小柜子需要繞行、有門需要避讓的常規(guī)場景；也涵蓋了梅花樁這種更極端的地形，還有頭頂存在不同形式吊頂?shù)膱鼍啊@種情況下，就需要機(jī)器人識別出頭頂?shù)恼系K物，然后自主采取下蹲姿勢通過。我們做這樣的環(huán)境集成，核心目標(biāo)就是讓機(jī)器人能習(xí)得一套"多場景通用"的控制策略，適配不同環(huán)境的需求。
第二個重點(diǎn)工作，是我們在感知方案和環(huán)境表征上做了創(chuàng)新。我們沒有選擇深度相機(jī)或點(diǎn)云這種常規(guī)形式，主要有兩個原因：一方面，就像剛才提到的，直接用深度相機(jī)的話，很難模擬真實(shí)世界中的噪聲，Sim2Real過程中的噪聲問題沒法妥善解決；另一方面，如果直接用點(diǎn)云，不僅存在大量異常點(diǎn)（outlayer）噪聲，還包含很多冗余信息，需要對每個點(diǎn)逐一進(jìn)行表征，效率很低。但實(shí)際上，我們的核心需求只是知道"附近有沒有障礙物"，只需要一種非常緊湊（compact）的表征形式就足夠了。所以最終，我們選擇把點(diǎn)云轉(zhuǎn)化為體素（voxel）形式來做環(huán)境表征。
第三件事，這是從實(shí)際應(yīng)用（in practice）的角度出發(fā)的。我們用Isaac Lab做仿真的時候，發(fā)現(xiàn)它本身并不支持對機(jī)器人本體的雷達(dá)掃描。所以我們額外做了工作，把機(jī)器人本體的掃描功能加上來，目的就是進(jìn)一步縮小Sim2Real的鴻溝。另外，有了這樣的環(huán)境表征后，我們還需要讓它能在算力非常有限的平臺上實(shí)時運(yùn)行。這里我們也做了優(yōu)化，沒有選擇大家常用的3D CNN，而是對不同高度的體素做了切片處理，這樣就能快速完成對地形的表征。
我們也把我們的方法和很多現(xiàn)有方法做了對比。其實(shí)，局部透視運(yùn)動（perspective local motion）是一個非常經(jīng)典的問題，之前很多研究是用深度相機(jī)、點(diǎn)云來做的。相比于這些方法，我們的優(yōu)勢主要有兩點(diǎn)：第一，我們對機(jī)器人做了改裝，它的視場角（FOV）足夠大，能全面感知周圍環(huán)境，所以實(shí)現(xiàn)全向運(yùn)動完全沒問題；第二，我們支持多種地形的訓(xùn)練，再加上剛才說的本體掃描改裝方案，讓機(jī)器人能實(shí)現(xiàn)全地形運(yùn)動。
關(guān)于剛才提到的本體掃描問題，我們也專門做了對比實(shí)驗——就是看"是否加入本體掃描"，對仿真中輸入信息的影響。結(jié)果發(fā)現(xiàn)，這也是一個很關(guān)鍵的Sim2Real鴻溝：除了之前說的傳感器本身的噪聲問題，加不加本體自掃描，會讓系統(tǒng)性能產(chǎn)生非常大的差異。我們的實(shí)驗證明，加上本體自掃描后，仿真中傳感器的表現(xiàn)能和真實(shí)世界更好地對齊，系統(tǒng)性能也會顯著提升。
這是我們論文里的一些測試演示視頻（demo），大家可以看到，機(jī)器人能穩(wěn)定通過很多復(fù)雜場景，比如上高臺?？赡苡信笥褧f，之前也看過一些機(jī)器人盲走的演示，覺得上高臺、走臺階不算特別新奇的事。但大家可以注意一個細(xì)節(jié)：之前很多盲走方案，機(jī)器人必須等腳碰到臺階，獲得了力反饋之后，才知道前方有障礙，進(jìn)而抬起腳步。而且，抬起多高的高度，其實(shí)它是沒法提前知曉的。
之前那種靠力反饋觸發(fā)動作的方式，其實(shí)是一種非常不安全的形式。而我們的方案加入了合理的感知模塊，就能解決這個問題。比如demo里左上角上高臺的場景，機(jī)器人在還
