騰訊機器狗，登上了Nature子刊封面！
在它的控制下，機器狗的動作和真實世界中的狗越來越像了。
注意看，這里的兩只機器狗玩起了“定向越野”，還是帶追逐的那種。
游戲當中，兩只機器狗分別要扮演追逐者和逃脫者，逃脫者需要在不被抓到的情況下到達指定位置。
一旦它到達了指定位置，兩只機器狗就會交換身份，如此來回進行，直到有一只被抓住。
這個游戲的一個難點在于有大速度限制，兩只機器狗都不能單獨依靠速度取勝，必須規(guī)劃出一定策略。
甚至，還有更加困難的障礙賽，戰(zhàn)斗更加激烈、場面更加精彩。
這場機器人越野大賽的背后，應(yīng)用的正是這套全新的控制框架。
該框架采取了分層式策略，并運用生成式模型學習了動物的運動方式，訓練數(shù)據(jù)來自一只拉布拉多犬。
這套方法讓機器狗不再依賴物理模型或手工設(shè)計的獎勵函數(shù)，并能像動物一樣理解和適應(yīng)更多的環(huán)境與任務(wù)。
像真的狗一樣運動
這只機器狗名叫MAX，重量為14kg，每條腿上有3個行動器，可提供平均22N·m的持續(xù)扭矩，大能達到30N·m。
MAX的一大亮點，就是實現(xiàn)了對真實世界中狗的模仿。
在室內(nèi)環(huán)境中，MAX掙脫了研究者，然后就開始了自由跑動。
把MAX放到室外，它也能在草地上歡快地奔跑玩耍。
當遇到有障礙的復雜地形時，這種模仿就更加惟妙惟肖了。
向上，MAX可以敏捷飛快地爬上樓梯。
向下，它也能鉆過障礙物，擋在它前面的橫桿沒有被碰到一點。
這一系列的動作背后，都是MAX的控制系統(tǒng)從一只拉布拉多的動作當中學習到的策略。
利用對真狗的模仿，MAX還能規(guī)劃更高級的策略，完成更為復雜的任務(wù)，前面展示的追逐大戰(zhàn)就是一個很好的例子。
值得一提的是，除了讓兩只機器狗相互競技之外，研究人員也通過手柄控制加入到了這場戰(zhàn)斗。
從畫面中不難看出，真人控制模式下的機器狗（下圖中1號），反而不如純機器方案（2號）來得靈活。
終的結(jié)果是，在開了掛（人類控制的機器狗大限速更高）的情況下，人類仍然以0:2的比分徹底輸給了機器。
除了能讓機器狗靈活運動，該框架大的優(yōu)勢就是通用性，可以針對不同的任務(wù)場景和機器人形態(tài)進行預訓練和知識復用。
未來，團隊還計劃把該系統(tǒng)遷移至人形機器人和多智能體協(xié)作的場景。
所以，Robotics X實驗室的研究人員是如何打造出這套方案的呢？
加入生成式模型的分層框架
研究人員設(shè)計這套控制框架的核心思路，就是模仿真實動物的運動、感知和策略。
該框架通過構(gòu)建可預訓練、可重用和可擴展的原始級、環(huán)境級和策略級知識，使機器人能夠像動物一樣從更廣泛的視角理解和適應(yīng)環(huán)境與任務(wù)。
具體實現(xiàn)上，該框架也采用了分層式的控制方式，之中的三個層級——原始運動控制器（PMC）、環(huán)境適應(yīng)控制器（EPMC）和策略控制器（SEPMC）——分別與原始級、環(huán)境級和策略級知識形成了對應(yīng)。
首先，人類會發(fā)出一個高級的指令（比如告訴機器競速追逐游戲的規(guī)則和目標），這也是（運行過程）全程唯一需要人參與的地方。
這個高級指令會被SEPMC接收，并根據(jù)當前情況（如機器人角色、對手位置等）制定策略，然后生成包括移動方向、速度等信息的導航命令。
導航命令接下來會傳給EPMC，然后結(jié)合環(huán)境感知信息（如地形高度圖、深度信息等），選擇適當?shù)倪\動模式，形成一個類別分布，同時選擇合適的離散潛在表示。
后，PMC又把這種潛在表示與機器人當前的狀態(tài)（如關(guān)節(jié)位置、速度等）結(jié)合，得到電機控制信號，并終交付執(zhí)行。
訓練的順序則剛好與之相反——從PMC開始，到SEPMC結(jié)束。
第一階段PMC的訓練，也就是原始級訓練，是為了建立基礎(chǔ)的運動能力。
該階段的訓練數(shù)據(jù)來自對一只訓練有素的中型拉布拉多犬的運動捕捉。
通過指導狗狗完成各種動作,作者收集了大約半小時的不同步態(tài)（如行走、奔跑、跳躍、坐下等）的運動序列，以每秒120幀的頻率采樣。
狗狗在捕捉過程中遵循直線、方形、圓形等不同的路徑軌跡。此外，作者還專門收集了約9分鐘的上下樓梯的運動數(shù)據(jù)。
為了彌合動物和機器人的骨骼結(jié)構(gòu)差異，作者使用逆運動學方法將狗狗的關(guān)節(jié)運動數(shù)據(jù)重定向到機器人關(guān)節(jié)。
通過進一步的人工調(diào)整，終得到了與四足機器人兼容的參考運動數(shù)據(jù)。
△資料圖，不代表訓練數(shù)據(jù)來源
基于這些數(shù)據(jù)，作者使用了生成式模型VQ-VAE編碼器來壓縮和表示動物的運動模式，構(gòu)建了PMC的離散潛在空間。
通過向量量化技術(shù)，這些連續(xù)的潛在表示離散化為預定義的離散嵌入向量，解碼器則基于選定的離散嵌入和當前機器人狀態(tài)生成具體的運動控制信號。
在VQ-VAE的基礎(chǔ)上，PMC的訓練目標，是小化生成的運動軌跡與參考軌跡之間的偏差。
同時，作者引入了優(yōu)先級采樣機制，根據(jù)不同運動模式的難易程度動態(tài)調(diào)整其在訓練中的權(quán)重，確保網(wǎng)絡(luò)對所有參考數(shù)據(jù)都能很好地擬合。
通過不斷迭代和優(yōu)化，PMC逐步學習到一組能夠有效表達復雜動物運動的離散表征，直至收斂。
PMC階段的結(jié)果，為EPMC生成更高級別的運動控制信息提供了基礎(chǔ)。
EPMC在PMC的基礎(chǔ)上引入了環(huán)境感知模塊，接收來自視覺、雷達等傳感器的信息，使得策略網(wǎng)絡(luò)能夠根據(jù)當前環(huán)境狀態(tài)動態(tài)調(diào)整運動模式。
EPMC的核心是一個概率生成網(wǎng)絡(luò)，根據(jù)當前的感知信息和指令信號，在PMC提供的離散潛在空間上生成一個概率分布。
這個分布決定了應(yīng)該激活哪些原始運動模式，以好地適應(yīng)當前環(huán)境和任務(wù)。
EPMC的訓練，通過小化環(huán)境適應(yīng)和任務(wù)完成的損失函數(shù)來實現(xiàn)，逐步學習優(yōu)化運動策略，提高機器人的適應(yīng)能力和魯棒性。
后的SEPMC訓練階段進一步提升了機器人的認知和規(guī)劃能力，使其能夠在多智能體交互環(huán)境中制定和執(zhí)行高層策略。
SEPMC在EPMC的基礎(chǔ)上，根據(jù)當前的游戲狀態(tài)（如自身和對手位置等）和歷史交互記錄，生成高層的策略決策（如追逐、躲避）。
MAX機器人玩的追逐式定向越野游戲，也正是SEPMC的訓練方式。
在該階段，作者采用了先進的多智能體強化學習算法PFSP，通過自我博弈不斷提升機器人的策略水平。
訓練過程中，當前策略不斷與歷史上的強對手進行對抗，迫使其學習更加魯棒和高效的策略。
得益于前兩個階段打下的堅實基礎(chǔ),這種復雜策略的學習是非常高效的，即使在稀疏獎勵的情況下也能快速收斂。
值得一提的是，這樣的多智能體方案當中，還可以引入一些模擬人類的智能體，從而實現(xiàn)機器間或人機間的協(xié)作配合。
以上的訓練過程都是在仿真環(huán)境中完成，然后以零樣本遷移到真實環(huán)境。
在仿真中，物理參數(shù)可以自由控制，作者隨機化了大量物理參數(shù)（包括負載、地形變化等），通過強化學習得到的策略必須能夠應(yīng)對這些變化，得到穩(wěn)定和通用的控制能力。
另外，作者在控制框架中的每一層都使用了LSTM，使得各個層級都具備一定的時序記憶和規(guī)劃能力。
傳感器方面，目前作者主要驗證了使用Motion Capture系統(tǒng)，或僅基于Depth Camera的視覺感知可以完成一系列復雜的任務(wù)。
為了處理更加開放和復雜的環(huán)境，作者未來將進一步整合LiDAR、Audio等感知輸入，進行多模態(tài)理解，更好的應(yīng)對環(huán)境。
論文地址：https://www.nature.com/articles/s42256-024-00861-3
項目主頁：https://tencent-roboticsx.github.io/lifelike-agility-and-play/
本文鏈接：http://morphism.cn/news41397.html比真狗還狗！鵝廠機器狗登Nature子刊封面：可定向越野
