Articles in Turing Academy cover three major themes: ESG Net Zero Laboratory, AI Laboratory and Lean Management Laboratory. We will share articles on related topics from time to time. We also welcome students who are interested in the above topics to submit articles and share them with you. Insights (I want to contribute)

機器狗狂飆新極限!KAIST 發表 APT-RL 演算法:結合 Transformer 與強化學習,野生環境瞬時秒速衝破 6 公尺野生高難度障礙越野

 


圖1:穿越崎嶇地形(A)研究團隊的控制器能夠實現快速感知步態和技能選擇,從而實現高速越障。 (B)同一控制器已被用於部署在各種戶外地形上。(資料來源:Kang et al., 2026)

 

科楠老師
2026-7-20

 

    近年來,四足機器人(俗稱機器狗)在波士頓動力(Boston Dynamics)、宇樹科技(Unitree)等-企業的推動下,已能在室內或平整地面展現驚人的敏捷性。然而,一旦將它們丟入碎石密布的森林深處、高低落差極大的城市階梯,或是需要連續跳躍障礙的複雜野外時,傳統機器狗往往會因步態單一、避障速度慢或傳感器震動干擾而顯得步履蹣跚。

 

2026 年 7 月,來自南韓科學技術院(KAIST)與 Korea University 等頂尖機構的研究團隊在知名國際期刊 《Science Robotics》 發表了最新突破。他們提出了一套名為 APT-RL(Action Pretrained Transformer-based Reinforcement Learning,基於動作預訓練 Transformer 的強化學習) 的全新控制架構。該架構僅憑藉機器狗身上攜帶的感測器與運算單元,就讓 KAIST 的自研四足機器人 HOUND 在極其惡劣的野外環境中實現了高速、敏捷且自主的「多技能越野(Multiskill Locomotion)」。更令人震驚的是,HOUND 在跳下三層高台階時,創下了瞬時峰值速度達每秒 6 公尺(6 m/s) 的全新世界級標桿!科楠老師將帶您深度解析這項登上《Science Robotics》的研究到底有哪些革命性的技術創新。


技術痛點:為什麼以前的機器狗在野外「跑不快、跳不高」?

 

    要讓四足機器人在複雜野外實現像真正的豹或狗一樣奔跑跳躍,面臨三個長期未解的瓶頸:

 

1. 缺乏多步態與動作技能的融合: 傳統基於物理模型的控制(Model-based control)在模擬單一步態時表現優異,但極難精準建立野外複雜接觸面(如泥地、枯枝、碎石)的物理模型。


2. 強化學習(RL)訓練難度高: 雖然免模型強化學習(Model-free RL)能應對環境不確定性,但要讓一個大腦(Single Policy)同時學會小跑(Trot)、奔馳跳躍(Bound)等多種步態,往往需要極其複雜的手工獎勵函數調優,且訓練出來的動作生硬,甚至在高速時難以順暢轉換。


3. 機載感測器受劇烈震動干擾: 當機器狗以極高速度衝過障礙物時,落地的巨大衝擊力(瞬時常超過 10g 的重力加速度)會導致機載光達(LIDAR)與深度相機劇烈抖動、數據失真甚至當機。


為了解決這些難題,KAIST 團隊設計了 APT-RL 三階段整合框架。


核心創新一:超高效率的「2D 軌跡最佳化」生成 15.5 小時龐大數據

 

    過往模仿學習(Imitation Learning)需要仰賴昂貴的動物動態捕捉(Motion Capture)數據,不僅成本高昂,也難以隨意定制動作。APT-RL 的神來之筆,在於其「Impulse scale-based TO(基於脈衝比例的軌跡最佳化)」 系統。研究團隊利用大幅簡化的 2D 單一剛體動力學(Single Rigid Body Dynamics, SRBD),在矢狀面(Sagittal Plane)上模擬機器狗的質心動力學、角動量與足端接觸時間。這個簡化模型帶來了兩大無可比擬的優勢:

 

  • 計算效率極高: 僅僅花費 8 分鐘 的最佳化時間,就產生了高達 18 萬條、累計長達 15.5 小時的高品質 2D 運動軌跡與對應的關節力矩(Torque)數據!
  • 同步生成力矩(Torque): 與市面上大多只生成「關節角度(State-only)」的算法不同,TO 同步產生了精準的物理力矩,使後續的控制器不需要額外疊加 RL 轉換器即可直接輸出控制信號。


核心創新二:首創 TVAE(變分自編碼器)與雙通道「輔助動作(Auxiliary Action)」控制

 

    如何把上述 2D 理論數據轉化為能在真實 3D 世界奔跑的技能?這是 APT-RL 最核心的架構設計:

 

圖2: APT-RL 的訓練流程(資料來源:Kang et al., 2026)

 

1. TVAE 隱空間預訓練

 

    研究團隊使用基於 Transformer 的變分自編碼器(TVAE),對上述 2D 數據進行自監督學習,成功將複雜的小跑(Trot)與奔馳跳躍(Bound)等動作編碼進同一個統一的「隱空間(Latent Space)」中,並訓練出專屬的力矩解碼器(Torque Decoder)。

 

2. 雙通道「輔助動作(Auxiliary Action)」機制

 

    因為 2D 訓練數據缺乏 3D 的橫向移動(如轉向、橫移)。因此,在強化學習階段,APT-RL 的策略網絡(Actor)會同時輸出兩個訊號:

  • 隱空間動作 (alatent): 輸入給已凍結的 TVAE 解碼器,直接調用完美的 2D 運動規律。

  • 輔助動作 aaux ): 做為 3D 動力學的細微修正與補償(如提供 HAA 側向關節的控制)。


 亮點實證: 在「斷腳測試(Leg-breakage Scenario)」中,機器狗在某一關節受損時,系統能自主調大輔助動作(Auxiliary Torque),降低原解碼器的力矩(Torque)比重,調整足部軌跡以維持身體平衡,展現驚人的強韌度!

 

核心創新三:極遠視界的雙模傳感器融合技術(Depth + LIDAR)

 

    在高速奔跑中,機器狗如果只靠深度相機,視角頂多看清前方 3 公尺的環境,對於秒速超過 4 公尺的運動來說,根本來不及反應。為了解決這個問題,研究團隊採用了 教師-學生(Teacher-Student)蒸餾訓練框架,並在硬體上首度融合了雙模傳感器:

  • 深度相機(Depth Camera): 負責提供近距離(0.3 ~ 3.0 m)的高精度局部地形幾何數據。
  • 2D 固態光達(LIDAR): 負責提供遠距離(高達 5.0 m)的稀疏幾何掃描,確保機器狗擁有足夠的預警反應時間。

 

此外,為了解決落地時高達 10g 的物理衝擊導致傳感器當機的問題,團隊更在 HOUND 的頭部與 LIDAR 之間加裝了客製化的 3D 列印減震緩衝墊,確保高速運動時的環境感知依然平穩可靠。


驚人的實驗成果:創下多項世界級機器人越野指標

 

    研究團隊將 APT-RL 部署在 KAIST 研發的 HOUND 機器狗上,直接進行零樣本(Zero-shot)從模擬到實體的跨越訓練,並在校園、原始森林等極端地形展開實測:

  • 瞬時峰值秒速 6 公尺: 機器狗在跳下一座高階梯(階高 30 cm、深 58 cm)時,在落地前瞬時速度達到了驚人的 6 m/s(弗勞德數 Froude Number 高達 7.69)。
  • 多技能流暢切換: 在長達 1.1 公里的校園複雜地形測試中,HOUND 能夠根據當前速度與障礙物高低,自主在「小跑(Trot)」與「跳躍奔馳(Bound)」之間流暢切換。
  • 野外長距離生存: 面對落葉堆、泥濘、碎石、橫臥的樹幹、高達 90 公分的室內跳台,HOUND 僅憑一套 onboard 策略(Policy)就能展現如同野生動物般的動態調整能力,穩健通過所有複雜地形。


結論與未來展望

 

    KAIST 團隊的 APT-RL 框架證明了:利用簡化的 2D 物理最佳化數據進行預訓練,結合強化學習的 3D 力矩(Torque)修正補償,不僅能大幅縮短機器人的學習曲線,還能創造出在真實世界中兼具「高爆發力」與「高適應力」的敏捷運動能力。這項研究不僅打破了多項四足機器人的高速感知運動紀錄,其「不依賴特定硬體平台(Robot-agnostic)」的特性,也使其未來能被廣泛推廣至雙足人形機器人或輪足式機器人,為搜救、軍事偵察及物流運輸等高風險應用,鋪平了實用化的道路。

 

 

參考文獻
Kang, J.-G., Park, J., Song, T.-G., Kim, J.-H., Hong, S., & Park, H.-W. (2026). Agile perceptive multiskill locomotion for quadrupedal robots in the wild. Science Robotics, 11(104), eadz7397. https://doi.org/10.1126/scirobotics.adz7397