7月4日,在WAIC 2024科學前沿主論壇上,上海人工智能實驗室(上海 AI 實驗室)發布首個城市級具身智能仿真平臺浦源·桃源(以下簡稱“桃源仿真平臺”)。
作為大模型與機器人的連接層,桃源仿真平臺涵蓋89種功能性場景、10萬級別高質量可交互數據,構建起“軟硬虛實”一體的機器人訓練場。
具身自主探索是實現通專融合的有效手段,也是理解物理世界的AGI的必經之路。通過構建具有社會屬性的真實交互環境,桃源仿真平臺支持通用機器人從底層控制到高級任務執行的全方位研究,有望解決領域內數據匱乏、評測困難的問題,為同時攻關機器人的“大腦”與“小腦”提供強有力的基礎設施支持。
開源鏈接:
https://github.com/OpenRobotLab/GRUtopia
走進虛擬“桃源”,走向繽紛現實
與大模型不同,具身智能的能力提升需要從交互中自主學習。在真實物理世界中對機器人進行訓練,存在著數據采集效率低下、復用性差、訓練風險高、評測困難等諸多瓶頸,因而,將在虛擬環境訓練成果應用于真實環境的“虛實遷移”(Simulation-to-Real)技術,成為當前具身智能領域的重點研究方向之一。
桃源仿真平臺可模擬各種復雜場景和機器人的行為模式,包括但不限于戶外作業、社交互動、家庭生活、工業生產、商業交易等,從而為具身智能體提供了具有社會屬性的虛擬社會。該平臺包含海量高質量可交互場景數據,并可借助AIGC技術生成多樣化、難度適中的具身智能任務,建立相應的評測體系,賦能具身智能大模型研發。
貼近現實的具身智能任務此外,借鑒人類運動員的訓練場景,桃源仿真平臺還為具身智能體構建了訓練場、陪練員及評分表。作為訓練場的GRScenes場景數據集包含10萬級別高質量、可交互場景數據,首次覆蓋超市、醫院等 89 種功能性場景,提供語言描述、物體類別、部件、材質等全方位標注。在視覺真實性和物理真實性的打造過程中,研究團隊與專業場景設計師團隊合作,實現場景布局、物體紋理等方面的真實,最大限度使虛擬場景與現實環境接軌。同時,GRScenes中的物體具備真實的部件設計、物理屬性及內部建模,并基于Isaac Sim算法進行物理仿真,為具身智能訓練提供了真實的場景交互反饋。通過人工標注和多模態大模型的應用,場景中的所有區域、物體具有類別、材質等標注,為具身智能訓練提供了可參考的物理場景指標。
多種功能類型場景GRResidents角色交互系統相當于陪練員,由LLM驅動智能虛擬角色進行具身任務生成與分發,為平臺提供交互社交屬性。構建“以人為中心”的通用機器人系統對具身智能研究尤為重要。在真實應用中,機器人通常需要與用戶進行多輪交互,以明確指令目標,提升執行效率。由大模型智能體框架構成的GRResidents,利用多模態大模型和系統API,從場景中提取物體描述、空間關系和區域描述等高層語義信息,并通過全局信息管理器(World Knowledge Manger)將這些信息組織成智能體可調用的環境感知 API。由大模型驅動的NPC(非玩家角色)相當于仿真平臺中的“居民”,他們可依據對話及環境感知 API 進行信息提取和推理,從而進行開放形式對話。在此基礎之上,這些 NPC 能夠通過采樣將場景信息進行智能組合,進而生成多種形式的具身任務,供具身智能體訓練。
大模型驅動的NPC系統
GRResidents: 智能虛擬角色系統評分表由GRBench評測體系完成,支持對多類機器人及任意任務進行客觀評測。目前,桃源仿真平臺支持多種類型機器人的訓練評測,包括對機械臂、輪式機器人、四足機器人、人形機器人的運動控制算法及訓練。用戶通過即插即用式 API 調用,即可在任意任務中模擬真實的控制過程,并還原規劃過程中的各類場景。未來,桃源仿真平臺還將通過持續迭代,拓展對更多類型具身智能體的支持。
桃源仿真平臺支持各類型機器人及任務評測,并提供控制算法及生態工具鏈基于桃源仿真平臺,上海AI實驗室為具身智能研究構建起生態工具鏈,為打通各平臺壁壘,充分利用各類具身智能控制開源算法,提供了首個跨平臺控制算法的遷移工具包。使用工具包,用戶可一鍵將Isaac Gym、Isaac Lab等具身智能開源社區的控制算法遷移至桃源仿真平臺。在人機交互方面,研究團隊還打造了支持多模態交互與機器人控制的全新交互界面,便于研究者進行算法演示和調試,進一步提升研究效率。