OS2ATC_2025_3_25_黄浴-公开版.pdf

1、具身智能中技能学具身智能中技能学习习面面临的挑战临的挑战黄浴Roboraction.AI3.29.2025大大纲纲人工智能的发展空间智能具身智能机器人类型端到端 VLA 模型技能数据收集平台公共数据集具身仿真可微分渲染开源仿真平台具身数据集的要求泛化技巧具身实例结论人工智能的发展人工智能的发展 1算法 CNN-Transformer(Mamba？)基础模型和LLMs 新范式：预先训练+微调 非自回归/生成模型 涌现能力：ICL/CoT/IF MOE,路由网络 视觉-语言模型&多模态 OpenAI o1/Deepseek R1：MLM+RL 智体,空间智能和具身智能人工智能的发展人工智能的发展

2、2 计算 预训练/推理时间规模化定律 芯片/训练平台/推理部署 成本/功耗人工智能的发展人工智能的发展 3数据（瓶颈）源:真实/合成 处理:隐私,倾向,清洗 质量:多样性,专业性 闭源/开源？人工智能的发展人工智能的发展Agibot World空间智能 空间智能的核心理念是“让人工智能能够以模仿人类空间智能的方式理解和操纵环境，从而有可能改变依赖详细环境模拟的行业”。三叶虫是第一种能够感知光线的生物。人们认为，视觉能力开启了寒武纪生命大爆发。视觉从被动接收光线转变为涉及神经系统的主动过程，进而导致了智能的产生。空间智能 主动视觉早在80年代就被提出，但一直缺乏相应的技术去推动。没有好的特征:S

3、IFT,SURF;没有深度传感器:Kinect;没有深度学习(ImageNet);没有LLM 或者VLA(GPT,PaLM-E);例如:如人类视觉一样主动跟踪 Saccade+Pursuit空间智能 空间计算“教会计算机更好地理解人类世界，并与人类更自然地互动。”空间计算涵盖虚拟现实(VR)和增强现实(AR)等技术体验，以及相关概念混合现实和扩展现实。具身智能 具身智能使得智能体不仅能在虚拟世界（如网络空间）中展现人工智能，还能在物理世界中展现人工智能，这对于实现AGI 甚至 ASI 至关重要。MLM 和世界模型是具身智能的突出特征。具身感知（表征、主动感知、导航）具身模拟（世界模型）具身交互

4、（问答、抓取）具身智能：MLMs,任务和动作规划具身控制视觉-语言-动作（VLA）模型是具身智能中的一种特殊MLM。具身智能 具身人工智能与空间智能的比较 空间智能专注于理解和解释环境、预测空间关系和推断物体动态；具身人工智能涉及空间智能，但通过将这些知识嵌入到能够进行物理交互的系统（机器人、无人机、自主系统）中来扩展空间智能。具身人工智能根据空间理解执行任务。光 -视觉 -洞察 -动作方面空间智能具身人工智能定义理解和解释空间执行任务的物理智体应用环境中的情境感知机器人、智能设备交互数据驱动的洞察（预测）与世界的物理交互具身智能 具身人工智能中的两个挑战性问题：灵巧性 身体、腿、手臂、手、脚

5、 泛化 物体、场景、具身实体 操控任务和技能具身智能 数据是具身人工智能的瓶颈之一：多样性；实体 时间 地点 视角 目标 技能具身智能 世界模型是实现AGI以及ASI的重要途径，从VR到决策系统等应用的基石。世界模型，通过预测未来来了解世界。世界模型是周围环境的内部表示，是一个神经模拟器。基于世界模型,智体理解其运行环境、预测其行为结果以及做出明智决策。OpenAI Sora机器人类型（1）固定基座型机器人，如Franka EmikaPanda 机械臂；机器人类型（2）轮式机器人，高效的机动性，如Jackal robot；机器人类型（3）履带机器人，强大的越野能力和机动性，如iRobot Pa

6、ckBot；（4）四足机器人，强稳定性和适应性，如Boston Dynamics Spot，MIT Mini cheetah;机器人类型机器人类型（5）人形机器人，如Tesla Optimus,Figure v2,Unitree G1;机器人类型（6）灵巧手:比如 Shadow Hand.机器人类型（7）仿生机器人，模拟自然生物的有效运动和功能.基于LLM 的VLA 模型可以推理目标之间的关系，预测未来状态，甚至推断可能的动作。PaLM-E,RT-2/X,OpenVLA,3-D VLA,Bi-VLA,CoVLA,TinyVLA,QUAR-VLA,PI 0,Figure.AI Helix,Agi