清華大學和北京面壁智能科技有限責任公司聯培博士后工作站 曹群

北京面壁智能科技有限責任公司 郭潔昕，雷升濤

1  引言

具身智能體作為實現通用機器人目標的核心路徑，本質上是一種集成了指令理解與物理操作能力的智能形態。其核心技術特征在于“物理化”與“環境耦合”，即智能體通過硬件載體（如四足機器人或六足運輸平臺）在真實世界中進行信息的實時攫取與動作執行。這種“感知-決策-行動”的循環結構，使得AI不再局限于被動的數據處理，而是進化為主動的交互實體。

回顧其演化史，具身智能經歷了從早期符號主義的冷落到行為主義崛起的轉折。1990年代的行為主義研究強調了環境反饋對智能生成的決定性作用，而隨后的測度論與馬爾可夫建模則為其奠定了數學根基。然而，長期的技術瓶頸在于如何讓機器在非結構化環境中具備通用性。直至近年來，具備多模態處理能力的視覺語言模型（VLMs）涌現，為智能體注入了強大的“通才驅動力”。這種賦能主要體現在三個層面：一是依托零樣本泛化實現精準的環境認知；二是利用邏輯推理將抽象宏觀指令轉化為具體的執行序列—長程規劃；三是通過API調用或代碼生成實現對硬件的精細操縱[1]。

針對目前學術界缺乏對此新興方向系統性綜述現狀，本研究深入調研了具身智能體的最新動態，重點解構了任務規劃與動作控制的協同機制，并評估了現有研究在應對復雜環境時的局限性，旨在為未來的具身智能系統開發提供戰略性的前瞻分析。

2  多模態大模型的崛起

在具身智能體的多模態構建中，視覺-語言對齊技術扮演著至關重要的角色。技術演進始于ViT對視覺特征提取方式的革新—將離散圖像塊映射至低維流形空間。2023年， BLIP-2的出現標志著模態融合進入了“輕量化、高保真”階段，其Q-Former機制通過交叉注意力機制，巧妙地將視覺語義嵌入到凍結的LLM語境中，具有代表性的視覺語言模型如表1所示。

表1 具有代表性的視覺語言模型

近兩年，該領域的研究范式發生了顯著遷移。 2024年的研究重點在于“感知的深度”，通過北大Pink等工作實現了對物理空間的微觀解析，并探索了統一架構下的生成式對齊。2025年則開啟了“具身行動”元年，研究重心顯著向VLA（視覺-語言-動作）框架傾斜，如Qwen3-VL展現了模型介入物理閉環的能力。同時，算法層面也迎來了如RankCLIP等對CLIP硬對齊范式的底層革新。這些進展共同推動了具身智能體從靜態語義匹配向動態決策執行的進化。

近年來，該領域的研究呈現出三條清晰且相輔相成的主線：交互方式的革新（從被動理解到主動遵循指令）、架構設計的統一（邁向通用多模態接口），以及技術生態的繁榮（開源與國產模型的突破性進展）。這三條主線共同驅動著VLM從“能看會說”的基礎感知，向“能理解、會思考、可執行”的復雜智能體演進。下面將具體闡述在這三個方向上的代表性工作與核心進展。

（1）指令遵循與多模態助手的崛起： LLaVA與Flamingo

由微軟與哥倫比亞大學聯手打造的LLaVA開創了利用GPT-4自動構建“指令-圖像”對的新范式。其核心邏輯在于：通過線性投影層將CLIP提取的視覺特征與文本嵌入進行拼接，從而驅動LLM執行端到端的指令跟隨任務。從初始版本到升級版的LLaVA 1.5，模型通過引入更高分辨率的ViT與多層感知機投影，顯著增強了感知精度[2]。與依賴單一圖文對數據的模型不同， DeepMind提出的Flamingo強調了“圖文交織”數據的價值。它利用感知重采樣器與門控交叉注意力機制，將圖像無縫嵌入到文本流中，這種上下文感知能力的提升使其性能增長了約17%[3]。

（2）通用接口與基準能力的演進：KOSMOS系列

KOSMOS-1將Transformer視為通用的多模態接口，實現了對文本、匹配圖文及交織數據的統一表征訓練。該模型不僅在感知任務中表現卓越，更在零樣本學習中展現出深厚的潛力。隨后的KOSMOS-2則進一步深耕“圖文基準”與“實體指代”任務，賦予了模型精準的邊界框定位及實體校準能力，使語義理解與空間定位達到了高度統一[4]。

（3）開源生態與國產模型的突破： MiniGPT4、 Qwen-VL與MiniCPM

在閉源模型GPT-4引發關注的同時，開源界推出了MiniGPT4。它借鑒了BLIP-2的分層思想，通過“大規模粗訓+高質量精調”策略，克服了低質數據對語言模型性能的侵蝕。

國內研發的Qwen-VL系列同樣代表了行業頂尖水準。Qwen-VL采用了位置敏感的自適應模塊，通過單層交叉注意力機制實現視覺特征的高效對齊。進化后的Qwen2-VL進一步引入了動態分辨率機制與多模態旋轉位置嵌入（mROPE），顯著增強了對復雜長程數據的推理深度[5]。此外，面壁智能推出的MiniCPM系列則探索了輕量化路徑[6]，實現了模型在邊緣計算設備上的高效部署[7]。

3  從視覺語言模型到具身大模型

3.1   具身大模型：從語義感知向物理行為的跨越

具身智能體的核心在于構建一個能夠統合環境感知、指令解析及自我狀態評估的智能中樞。具身智能體作為多模態大模型的承載者，可以分為不同類別，包括：

機器人：如固定基座機械臂、四足機器人、人形機器人等。

自動駕駛系統：如特斯拉的自動駕駛技術，能夠感知周圍環境并作出決策。

虛擬智能體：如游戲NPC、社交機器人、虛擬偶像等。

以人形機器人為例（如圖1所示），具身智能體中“大腦”與“小腦”的協同配合可以從分層架構與信號傳遞兩個維度進行描述：

圖1 人形機器人“大腦”與“小腦”協同配合

（1）分層決策架構

具身智能體模仿人類神經系統的分層處理方式來執行任務。大腦為高層認知層，作為系統的核心決策中樞，主要由大語言模型或視覺語言模型驅動。它負責處理高級抽象任務，涵蓋對用戶指令的解析、環境信息的深度感知以及長程任務的邏輯規劃。

小腦作為底層控制層，接收來自“大腦”的抽象指令，負責具體的運動控制和動作生成。這一層級主要通過運動控制算法及反饋控制系統，將規劃好的任務轉化為可執行的底層動作指令。

（2）信號處理與協同流程

兩者的配合遵循從“抽象規劃”到“具體執行”的線性邏輯：

當用戶下達復雜指令，如“幫我倒杯水”時， “大腦”首先利用強大的邏輯推理能力將其分解為一系列子任務步驟。隨后，這些高級信號被傳遞至“小腦”等低級區域。目前主流的框架是在大模型后添加策略頭。大腦輸出的任務特征經過策略頭處理后， 由小腦解算出具體的機器動作參數，如關節轉角、移動速度等。

信號最終通過“身體”—機器人本體的傳感器和執行器在物理環境中實施動作。這種分層設計減少了大模型直接估計動作策略的壓力，使系統能夠更流暢地應對復雜任務。

雖然視覺-語言模型在語義推理上表現卓越，但在生成底層執行策略方面存在天然短板。為此，具身大模型應運而生，成為連接數字智能與物理世界的橋梁。

其架構邏輯高度仿真人類神經系統：高級皮層負責戰略規劃，低級中樞處理任務具象化，最終通過執行器官輸出物理位移。當前主流架構已從早期的“端到端動作估計”轉向“骨干模型+策略頭”的混合模式。該框架通過多模態編碼器將視覺特征、文本指令與本體狀態映射至統一表征空間，由策略頭精準解算下一時刻的動作參數。

3.2   異構融合：長程規劃與學習范式的演進

針對長跨度任務，研究界探索了具身大模型與多種學習范式的結合。

在具身大模型的框架下，為解決復雜指令的執行問題，研究者發展了分層策略：上層采用如啟發式分解等方法，利用大語言模型（LLM）將抽象指令粒度化拆解為可執行的子任務序列，并引入強化學習中的價值函數來評估各子任務在當前環境狀態下的可行性，從而確保規劃的邏輯性與安全性；下層則聚焦于底層策略的革新，例如Q-Transformer通過將Transformer架構深度融入Q學習框架，并設計保守正則化項來優化時序差分（TD）誤差的優化過程，顯著提升了智能體從高維觀測中學習穩健、高效動作策略的速度與穩定性。這兩種技術路徑共同構成了從高級任務理解到低級動作生成的連貫解決方案。

3.3   數據瓶頸與推理效率的攻堅策略

物理交互數據的稀缺性是制約具身智能發展的關鍵。研究者為此提出了多維度的解決方案：

（1）自主化數據生成。在有限的人工干預下，利用大模型驅動機器人集群在真實建筑中進行自主探索與樣本采集，極大地擴充了行為數據集。

（2）計算效能優化： SARA-RT通過引入線性復雜度的自注意力機制，突破了實時推理的算力瓶頸。

（3）泛化性增強： RT-Trajectory利用RGB軌跡圖作為提示信息，顯著提升了智能體處理未知任務的魯棒性。

3.4   分層控制邏輯：從高級宏觀規劃到低級微觀操縱

人類解決復雜問題的智慧在于“分而治之”，這一邏輯同樣適用于具身系統。高級任務規劃：將“清理桌面”等高度抽象的指令解構為“定位物體”“路徑規劃”“精準抓取”等一系列子項。這不僅要求智能體具備零樣本的場景感知，還需具備主動探索環境的能力。底層動作控制聚焦于物理反饋層面的精細操作。目前，針對機械臂的抓取、雙足機器人的平衡步態以及靈巧手的復雜操作，研究者多采用強化學習與模仿學習相結合的方式，以定制化地適配不同形態的物理載體。

4  核心挑戰與演進范式

具身智能的演進正處于從“數字認知”向“物理實踐”跨越的關鍵節點。盡管多模態大模型的崛起為智能體注入了強大的靈魂，但其在復雜物理世界中的生存與進化仍受制于多重技術瓶頸。基于此，本文從評價準則、感知維度、邏輯編排及硬件落地等維度出發，系統性地梳理了制約具身智能發展的核心局限，并構建了如下通往通用具身智能的前瞻性演進路徑。

（1）異構能力的統一評估框架

目前，具身智能的評估體系呈現碎片化特征，缺乏能涵蓋三維空間感知、跨任務泛化及物理操作性能的通用標準化基準。現有的VIMABench或ALFWorld等平臺往往側重于單一維度的任務解析，且高度依賴仿真器。未來亟需開發一種高保真、多維度的全能力評估體系，以消除“Sim-to-Real”的鴻溝，實現對智能體在復雜現實環境下感知與決策能力的客觀量化。

（2）數據模態采集與眾包化策略

具身智能的高階表現受限于高昂的機器人動作采集成本。傳統的遙操作模式難以支撐海量訓練需求。“跨界數據獲取”正成為突破口：利用高質量虛擬世界中的人類行為序列進行知識遷移，或結合有限的人工干預進行自主探索，有望構建起低成本、規模化的行為指令數據集。

（3）從二維理解向三維時空感知的飛躍

與純視覺模型不同，具身實體必須解析物理世界的三維拓撲結構。盡管點云等輔助數據已被引入，但提升視覺語言模型（VLM）的3D空間直覺仍是核心方向。通過訓練具備空間幾何理解能力的三維視覺大模型，能使智能體在低成本視覺方案下精準捕捉物體的深度、位姿及語義關聯。

（4）因果邏輯驅動的任務編排

當前大模型的任務規劃多源于統計學概率，缺乏對子任務間因果一致性的深刻錨定。針對“接杯水”等看似簡單實則涉及復雜原子操作的任務，互聯網文本語料存在嚴重的“常識空缺”。未來應側重于通過視覺輸入構建世界模型，使模型能夠內化物理定律和運動規矩，從而在任務分解中引入因果約束而非簡單的序列預測。

（5）邊緣計算效率與算法輕量化

具身智能的實時性要求與大模型的計算能耗存在天然矛盾。雖然已有Phi系列等終端模型探索了參數壓縮路徑，但如何在保持高精度的前提下進行低功耗終端部署（如通過量化壓縮或Transformer架構優化）仍是關鍵。這是實現具身智能體從實驗室走向大規模商用的技術基石。

（6）自主反思與終身學習能力

賦予智能體從失敗中汲取教訓的閉環自進化能力是實現通用智能的標志。盡管提示工程和外部記憶機制提供了初步方案，但如何應對災難性遺忘、實現增量式知識更新，仍需在算法層面進行深層次革新。智能體需在持續的物理交互中不斷修正自身認知，構建動態增長的知識圖譜。

5  總結

盡管大模型賦予了智能體更強的“大腦”，但真實物理世界的復雜性（如火星極端的地理環境）仍對模型的實時性、泛化能力及因果推理提出了挑戰 。未來，構建具備“世界模型”認知的具身智能體、優化三維空間感知以及建立統一的評估基準將是持續創新的關鍵指引。

作者簡介：

曹   群，博士，新加坡國立大學訪問學者，清華大學計算機系和北京面壁智能科技有限責任公司聯培博士后，專注于人工智能與智能控制領域的技術攻關與學術研究。作為國家及北京市自然科學基金項目骨干，成功將模型預測控制算法應用于快速實時控制系統，創新性地將自注意力機制融入PPO算法，提升訓練效率并改進稀疏獎勵處理方法。在強化學習與模型預測控制方向發表高水平論文10余篇。

郭潔昕，美國哥倫比亞大學碩士，現任面壁智能科技有限責任公司政府事務負責人，專注于人工智能產業與政策發展研究。先后參與5個國家級北京市重點研發項目，研究方向涵蓋智能硬件、端側模型、3D視覺等前沿技術方向。

雷升濤，清華大學計算機系碩士畢業，同時擁有北京大學光華管理學院工商管理碩士（MBA）學位，現任面壁智能聯合創始人、首席運營官，全面統籌公司的產品與解決方案規劃、商業化戰略推進，并負責人力資源、法務及相關職能管理。他領導團隊致力于推動高效端側大模型在行業場景的落地應用，構建可持續的商業價值閉環，推動產業智能化升級。

參考文獻：

[1] 白辰甲, 許華哲, 李學龍. 大模型驅動的具身智能: 發展與挑戰[J]. 中國科學: 信息科學, 2024, 54 (9) : 2035 - 2082.

[2] Liu H, Li C, Wu Q, et al. Visual instruction tuning[J]. Advances in neural information processing systems, 2023, 36: 34892 - 34916.

[3] Alayrac J B, Donahue J, Luc P, et al. Flamingo: a visual language model for few-shot learning[J]. Advances in neural information processing systems, 2022, 35: 23716 - 23736.

[4] Xi Z, Chen W, Guo X, et al. The rise and potential of large language model based agents: A survey[J]. Science China Information Sciences, 2025, 68 (2) : 121101.

[5] Wang P, Bai S, Tan S, et al. Qwen2-vl: Enhancing vision-language model's perception of the world at any resolution[J]. arXiv preprint arXiv: 2409.12191, 2024.

[6] Xiao C, Cai J, Zhao W, et al. Densing law of llms[J]. Nature Machine Intelligence, 2025 : 1 - 11.

[7] Yao Y, Yu T, Zhang A, et al. Minicpm-v: A gpt-4v level mllm on your phone[J]. arXiv preprint arXiv: 2408.01800, 2024.

摘自《自動化博覽》2026年第一期暨《2026具身智能專刊》