蘋果新 CEO 最近對自家 AI 的進度有點不滿意。

根據彭博社最新爆料,蘋果 CEO 約翰特努斯已經要求軟體主管費德里吉加快 AI 開發節奏,拿出更大膽的方案,不能只滿足於為 Siri 升級幾個功能。

比起蘋果 AI 落地的速度,蘋果在研究上的進展其實超乎許多的預期,其中就包括具身智能,蘋果也在研究怎麼讓 AI 擁有一副能在現實世界行動的身體。

最近,蘋果研究團隊公開了一項名為 HALO 的人形機器人研究,直接用宇樹 G1 當身體,後背綁著一台 Mac mini M4 Pro,裡面運行的還是阿里的千問模型。

這套看起來有點混搭的系統,已經能夠讓機器人自主走進陌生家庭,找到椅子坐下、鑽過桌底、推走箱子。在 6 個從未見過、沒有事先掃描的真實環境裡,360 次測試的平均成功率達到 91%。

圖|專案地址:https://apple-aiml-research.github.io/ml-halo/

更有趣的是,蘋果甚至沒有專門找人遙控機器人來收集這些訓練資料。

研究團隊用幾百張 GPU,在上千個虛擬家庭中大量產生機器人的動作和視覺數據,再把學到的技能直接搬進現實世界。

這意味著,人形機器人原本需要人類手把手教的動作,現在開始有機會靠算力學習。

[demo-1080.mp4]

教機器人坐下,得先拍到它看見了什麼

我們聽到「去椅子上坐」,通常會先看椅子在哪兒,然後走過去,轉身,再把身體的重量落到座面上。

對機器人來說,這個過程則需要一個很具體的訓練資料。一條常見的資料樣本裡,既要有它聽到的指令和第一視角畫面,也要有完成任務時全身關節怎麼動的記錄。靠人遙操作採集,每多一條樣本,就得再做一次。

這種配對機器人的資料叫做「視覺-語言-動作 Vison-Language-Action,VLA」,和訓練大語言模型可以使用互聯網上取之不盡的文本不同,現實世界中並不存在已有的 VLA 語料數據。

每個訓練樣本都必須有人專門製造出來:遙操作系統(如 ALOHA)、穿戴式動捕設備(如 UMI),產出一小時資料至少要消耗一小時人力,這也是人形機器人領域著名的「資料瓶頸」。

蘋果的這篇論文 HALO 給的方案是不採人數據了,全部用仿真合成。

研究團隊以運動擴散模型產生全身動作,用程式化生成器(INFINIGEN)造出 1000 個虛擬家庭,客廳、辦公室、臥室,家具疏密隨機;再在 Isaac Sim 裡把動作放進場景,渲染出機器人頭部相機看到的第一視角畫面,最後交給自動校驗器的壞篩子、滑腳的壞篩樣本。

拿坐椅子來說,研究人員先指定走過去、轉身、坐下這幾個階段,以及最後坐穩的姿勢。動作生成模型據此給出多組軌跡,程序檢查腳底有沒有打滑、身體有沒有穿過地面、關節有沒有超過活動範圍,再把篩過的動作和椅子擺進虛擬房間,避開周圍的家具。

接下來,仿真器從機器人頭部攝影機的位置拍出這一幕。團隊在約 1000 個程式生成的房間裡做出了 16.3 萬條、近 300 小時的配對樣本,資料規模只受算力限制。

論文裡也提到,只產生 SIT(坐下)一個技能的 5 萬個樣本,就用了 250 張 H100 GPU 跑了 9 個小時;全部 1178 個房間的生成用了約 300 張 GPU、26 個小時。

房間多樣性本身也起了作用。研究團隊保持動作資料量不變,只調整訓練場景的數量。在 100 個沒見過的模擬房間裡,坐椅子的成功率從只用 1 個房間訓練時的 43%,漲到用 100 個房間時的 81%。場景再加到 1000 個,成績升到 84%。

蘋果的機器人生態,跑在自己的晶片上

HALO 的自主性由三層結構協作完成,而且全部在機器人本體上運行,不聯網、不遙控、不需要外部動捕。

  • 編排器(約 0.5 Hz):一個視覺語言模型(預設是本地運行的 Qwen3.6-35B-A3B)每兩秒看一次畫面,可以把「幫我把箱子推到桌子那邊」這樣的自由指令拆解成子任務序列;
  • 運動生成器(3 Hz):凍結的 Qwen3.5-2B VLM 編碼器加上一個從零訓練的擴散 Transformer 解碼器,根據當前第一視角畫面和子任務,生成未來 5 秒的全身運動計劃,即機器人身上 29 個關節角度加骨盆位姿;
  • 運動追蹤器(50 Hz):結合深度視覺和本體感覺,把運動計畫落地成真正的關節指令。它經過「特權專家訓練 → 多教師蒸餾 → 多 critic 強化學習微調」三段式訓練,是解決「物理問題」的最底層。

總的來說,上兩層解決的是「語意」問題,也就是指令說的是哪把椅子;最底層解決的是,如何讓屁股結實實落在椅面上,還不能失去平衡。

這套編排有趣的地方是軟硬體上的混搭,用的是宇樹 Unitree G1 的身體,背上馱著一台 Mac mini M4 Pro(64GB 統一內存)負責思考,而機器人原廠 Jetson Orin NX 負責 50Hz 的實時控制,頭部加裝一顆 120° 廣角相機,全身無線、無繩電纜。

而這台蘋果機器人背上的大腦,也就是 Mac mini M4 Pro 裡面,運動的又是阿里開源的模型。當然,編排器也預留了呼叫雲端前緣大模型的選項,離線時則完全依賴本地模型。

Mac mini 直接從機器人(宇樹 G1)的內部電源總線取電 ,沒有單獨的電池或電源適配器。

當真機運作時,背上的 Mac mini 會判斷人說的是哪把椅子、眼下該先做什麼。動作模型接過目前這一步,根據相機畫面產生接下來 5 秒的全身動作,每秒更新約 3 次。

麻煩在於,機器人等新計畫的時候,可能已經抬起了一隻腳。要是新計畫接上來就改掉腳的落點,動作就會突然一頓。

HALO 採用了運動生成器採用非同步推理 + 訓練時前綴約束,在產生新計畫時,會保留舊計畫裡已經決定要做的半秒動作,只重算後面的 4.5 秒。這樣,機器人可以繼續走,新計畫也能順著已經開始的動作接下去。

再往下,G1 自帶的 Jetson 晶片結合朝下看的深度相機和身體狀態,每秒給 29 個關節更新 50 次位置目標。上層計畫裡的一句「坐下」,到這裡才變成現實中膝蓋該彎多少、軀幹該怎麼穩住的一連串動作。在模擬坐椅子測試裡,如果去掉這一層的深度輸入,成功率會從 84% 降到 74%。

先前同類的工作大多在事先掃描過的房間測試,而 HALO 的評測環境則是 6 個訓練中從未出現、也沒有被掃描或建圖過的真實家庭。

機器人在這些環境中完成了坐下、走向指定物體、側身穿過半開的門、蹲下/爬行鑽過桌底、推箱子 6 類任務,360 次物理試驗的平均成功率是 91%,這和模擬裡的 91% 完全一樣。

將技能串成組合任務(如「鑽過桌子→走向箱子→推箱子」)時,成功率降到約 70%。失敗原因很有意思:上一個動作結束時機器人的朝向不對,下一個目標根本不在視野裡,機器人被別的物體「帶偏」了。但解決方法也很容易,論文裡提到,加上一個簡單的「原地轉圈找目標」的恢復行為就能緩解。

更厲害的是,在對照實驗裡,當訓練場景從 1 個增加到 100 個,機器人成功率從 43% 飆升到 81%;再增加到 1000 個,達到 84%。

這不是蘋果的第一次出手

雖然蘋果 AI 多次跳票,但翻翻蘋果過去兩年的公開論文,對具身智慧的佈局也逐漸有了清晰的路線:

  • 2024 年 11 月,ARMOR(與 CMU 合作):把 40 個低成本 ToF 雷達像皮膚一樣鋪滿傅利葉 GR1 的雙臂,解決人形機器人「看不見自己手臂」的遮蔽難題,確立了第一視角機載感知的路線;
  • 2025 年 1 月,ELEGNT:那台刷屏的皮克斯檯燈機器人,探索「功能 + 表現」的運動設計,讓機器人會點頭、會靠近、會用燈光引導我們的注意力,這也是蘋果對消費級機器人型態的思考;
  • 2025 年 5 月,EgoDex 與 PH2D:用 Vision Pro 採集了 829 小時第一視角靈巧操作數據,並讓人類教練戴著頭顯直接訓練人形機器人。

HALO 看起來像是這條線短暫的收束,感知上繼承了第一視角哲學,場景上瞄準了 ELEGNT 描繪的家庭,而在數據這個最關鍵的環節上,蘋果這次放棄人力採集,押注仿真。

當然,距離真正能走進千家萬戶的人形機器人,HALO 還有很長一段路要走。

現在它可以坐椅子、鑽桌底、推箱子,但要讓它收拾一間亂糟糟的臥室,或者從冰箱裡拿出一瓶飲料,仍有大量技能需要學習。甚至每增加一項新技能,研究人員依然需要手動設計動作提示和關鍵影格。

不過,HALO 至少證明了一件事:人形機器人學習如何與真實世界互動,可以有更容易規模化的路徑。

過去,想讓機器人累積 300 小時的經驗,就得有人陪它練習記錄。如今,研究人員可以用幾百張 GPU,在一天多的時間裡產生同等時長的訓練數據,再把這些經驗交給一個從未踏進真實家庭的機器人。

更有意思的是,這次蘋果甚至沒有自己的機器人身體。宇樹的 G1、阿里的千問、英偉達的 Jetson,再加上一台 Mac mini,就組成了這套可以自主感知和行動的系統。

當機器人訓練開始越來越依賴算力,未來人形機器人產業的競爭,或許也會從誰的身體更靈活,延伸到誰能讓機器人更快、更便宜地累積經驗。

#歡迎追蹤愛範兒官方微信公眾號:愛範兒(微訊號:ifanr),更多精彩內容第一時間為您奉上。