LLM：具身智能基础技术路线（22页）.pdf

1、具身智能基础技术路线董云龙2024.05https:/ AI）Emboided AI：集成环境理解环境理解、智能交互智能交互、认知推理认知推理、规划执行规划执行于一体的系统化方案系统化方案ASRTTS环境理解环境理解智能交互智能交互认知推理认知推理规划执行规划执行LLM As General Planner通过包罗万象包罗万象的Tokens训练的LLM，其内蕴的Common Sense以及思维逻辑思维逻辑，能够成为面向机器人的General PlannerSai Vemprala et.al.,ChatGPT for Robotics:Design Principles and Model A

2、bilities,2023LLM As General Planner：TinyRobotBenchLLM可以作为一个桥接人类指令意图人类指令意图到具体规划代码生成规划代码生成的媒介PyBullet演示环境你现在是一个负责给机器人生成规划代码的模块，以下是你能够直接调用的API：1.get_location_by_name(name):根据输入的name获取其对应物体所在的xyz位置，用来找到对应物体的位置2.move_tool(xyz):将末端夹爪移动到xyz位置。3.grasp():末端夹爪执行抓取，能够抓住当前机器人夹爪附近的物体。4.ungrasp():松开末端夹爪抓取，所夹住的物体会

3、落在当前位置。5.get_names_on_table():返回类型List，返回所有在桌面上物体的名字。6.get_box_postion():返回可以暂时存放物体的box的xyz位置。请你根据上述API，基于python只实现编码plan()函数，将桌面上所有的物体移将桌面上所有的物体移动到目标位置动到目标位置，只输出代码，不需要输出其他描述。GPT-3.5PromptCodeEmbodied AI:A System View(Navigation)Matthew Chang et.al.,GOAT:GO to Any Thing,2023使用MaskRCNN实例分割进行目标检测和像素分割

4、使用MiDaS单目深度估计进行RGBD传感器数据修复分割后的RGBD投影Semantic Map进行环境建图使用SuperGLUE进行图像与图像匹配使用CLIP进行文本与图像匹配使用Mistral 7B从复杂指令抽提Object CategoryEmbodied AI:A System View(Navigation&Grasping)Peiqi Liu et.al.,OK-Robot,2024使用AnyGrasp生成Grasping Candidates使用Lang-SAM，分割特定文本物体Mask基于规则在Mask内选择最终Grasping Pose基础技术路线从场景理解场景理解、数据引导

5、数据引导、动作执行动作执行、世界模型世界模型这四个方面进行基础技术路线的拆解场景理解分割、检测SAMOpen-Voc DetectionSAM3DOpen-Voc Detection in Point Cloud场景理解多模态Grounding(Image)Hanoona Rasheed et.al.,GLaMM:Pixel Grounding Large Multimodal Model,2023多模态（文本、图像）大模型能够实现像素级别像素级别的细粒度Grounding，表征着大模型的理解能力理解能力大幅度提高Prompt的多样化多样化使得Grounding具有更好的针对性针对性场景理解多

6、模态Grounding(3D)Jiangyong Huang et.al.,An Embodied Generalist Agent in 3D World,2023多模态多模态、多任务多任务赋能的LLM具有更加通用的场景理解能力数据引导From VideoChen Wang et.al.,MimicPlay:Long-Horizon Imitation Learning by Watching Human Play,2023Vidhi Jain et.al.,Vid2Robot:End-to-end Video-conditioned Policy Learning with Cross-A