2、RoboOS跨本体具身大小脑框架技术解读.pdf

1、跨本体具身大小脑协作框架跨本体具身大小脑协作框架RoboOSRoboOS技术解读技术解读郝孝帅郝孝帅 智源研究院研究员2025年4月24日背景：背景：具身智能机器人的广泛应用具身智能机器人的广泛应用具身智能机器人具备感知、理解与行动能力，能够适应多种复杂环境。无论是商超引导、餐厅服务，还是家庭陪护与工业协作，它们都在展现出越来越强的实用性与灵活性。背景：实现具身智能体的技术路线背景：实现具身智能体的技术路线实现具身智能体可分为两大技术路线：端到端视觉-语言-动作模型：OpenVLA，RDT，GR-2，Pi0等；OpenVLA缺点缺点：长程任务规划长程任务规划、任务泛化性任务泛化性RDT-1BG

2、R-2背景：实现具身智能体的技术路线背景：实现具身智能体的技术路线实现具身智能体可分为两大技术路线：分层模型框架：Helix，Gemini Robotics，GR00T-N1，HiRobot等；Gemini RoboticsHelix缺点缺点：跨本体跨本体、多本体协同多本体协同GR00T-N1RoboOSRoboOS：跨本体具身大小脑协作框架：跨本体具身大小脑协作框架跨本体控制跨本体控制RoboOSRoboOS部署移动操纵能力大脑大脑推理能力任务规划能力、时空认知能力语音表达能力 感知能力 视觉、听觉、力触觉感知等具身小脑具身小脑具身大脑具身大脑RoboBrainRoboBrain任务规划实时

3、反馈端侧Agents端云高效通信云端Global Agent发布/订阅运动能力全身控制能力本体本体机械臂群体智能双足人形轮式单臂轮式双臂操纵能力夹爪、灵巧手等对物体的精细操控，如叠衣服、转笔导航能力路径规划、动态避障在移动过程中同时进行操控在复杂地形上稳定移动，优化步态和保持动态平衡整体协调身体，在执行复杂任务时，合理分配身体各部位的运动全局感知与决策的具身大脑模型即插即用的跨本体小脑技能库时空状态、本体状态的实时共享记忆系统RoboOSRoboOS：跨本体具身大小脑协作框架：跨本体具身大小脑协作框架任务：Task-level，Tool-level，Action-level 三层级信息流交互；

4、实现：跨本体的任务规划、分配与纠错反馈；Memery共享完成大规模多本体的高效协同；部署：端云协同通讯方案和云端推理进行了优化，以实现更高效，更高频交互。RoboOSRoboOS：跨本体具身大小脑协作框架：跨本体具身大小脑协作框架 时空感知时空感知：融合3D场景空间关系重建与历史状态追踪感知，构建动态时空认知构建动态时空认知 规划指导规划指导：支持群体智能调度智能调度（如复杂任务协同 Planning）与细粒度动作指导生成细粒度动作指导生成（Affordance/Trajectory）。反馈纠错反馈纠错：实时根据时空状态和本体状态，监测执行状态（如力控异常），进行三级动态重规划三级动态重规划。

5、云端大脑模型云端大脑模型 RoboBrain（慢系统）：全局感知与决策（慢系统）：全局感知与决策 Action-LevelTool-LevelTask-Level时空感知规划感知反馈纠错RoboOSRoboOS：跨本体具身大小脑协作框架：跨本体具身大小脑协作框架 技能即插即用：技能即插即用：灵活集成操纵技能（如 AnyGrasp,VLA)各类传统规控/视觉导航技能（如 SLAM，VLN）兼容不同本体的专属工具（如柔性操作，精密操作）小脑技能库（快系统）：低延迟精准执行小脑技能库（快系统）：低延迟精准执行 本体即插即用：本体即插即用：单臂、双臂、轮式、人形单臂、双臂、轮式、人形操纵类技能导航类技

6、能RoboOSRoboOS：跨本体具身大小脑协作框架：跨本体具身大小脑协作框架 空间记忆：空间记忆：实时更新场景物体空间关系（如“水果刀位于桌角”），环境中机器人本体空间位置(如宇树人型机器人G1离水果桌最近)，等等。共享记忆系统：跨本体多机器人数据中枢共享记忆系统：跨本体多机器人数据中枢 scene-graph格式示例RoboOSRoboOS：跨本体具身大小脑协作框架：跨本体具身大小脑协作框架 时间记忆：时间记忆：记录动作历史情况与任务执行状态等，用于根据反馈重新决策规划与优化协同操作。共享记忆系统：跨本体多机器