上海大学：2024具身智能感知与控制研究报告（49页）.pdf

1、具身智能感知与控制叶林奇 上海大学https:/linqi-ye.github.io/个人简介自动化系导师：宗群教授航空航天系导师：John Crassidis机械工程系导师：Andy Ruina2010-2019天津大学本科&博士2016-2017纽约州立大学公派联培2017-2018康奈尔大学公派联培自动化系梁斌教授团队2019-2022清华大学博士后、研究助理2022-至今上海大学特聘副研究员未来技术学院彭艳教授团队2个人简介从飞行器/传统控制转到机器人/强化学习，未来聚焦具身智能方向飞行器机器人博士 博士后 青年教师控制理论本体设计智能感知智能控制目录一、具身智能概念二、具身智能感知三

2、、具身智能控制四、具身智能展望具身智能感知与控制具身智能概念Hinton提出深度学习20062016AlphaGo战胜人类最强围棋选手四足机器人强化学习超越传统控制AI星际争霸超越99.8人类玩家模拟空战AI打败美军王牌飞行员202020232022ChatGPT横空出世，AIGC火爆全球无人机竞速AI战胜人类世界冠军2019谷歌发布具身多模态大语言模型PaLM-E智能无人系统游戏AI大模型具身智能概念非具身智能依赖已有数据进行学习，被动接收知识知识数据经验实践总结理论抽象读万卷书行万里路具身智能通过交互获取直接经验，学习和主动探索非具身智能具身智能具身智能概念具身智能的核心是智能体与环境的交

3、互智能体通过感知环境、采取行动并从环境中获得反馈来调整、优化自身行为具身智能概念什么样的身体和环境，发展出什么样的智能身体不仅是感知和改变世界的工具，更是影响和塑造认知结构的主体草履虫捕蝇草水母海豚具身智能概念2024年3月，CAAI监事长蒋昌俊院士具身智能大会上表示，要实现真正的通用人工智能，需要赋予它们在真实物理世界中的交互能力，这就意味着需要让AI 拥有实体，让它们像人类一样具备感知、思考和行动的能力。2021年，李飞飞教授提出，具身的含义不是身体本身，而是与环境交互并在环境中发挥作用的整体需求和功能。1950 年，图 灵 在 论 文 COMPUTINGMACHINERY AND INT

4、ELLIGENCE有了具身智能的思想萌芽。2023年，NVIDIA创始人黄仁勋，AI的下一波浪潮被称为具身智能，它指的是能够理解、推理和与物理世界互动的智能系统。1986年，布鲁克斯从控制论角度出入，强调智能是具身化和情境化。具身智能是一个与传统人工智能有所区别的概念，它强调的是有物理身体的智能体与环境的紧密交互以及通过这种交互所形成的自进化行为。具身智能概念计算机学会计算机术语审定委员会定义：具身智能是一种基于物理身体进行感知和行动的智能系统，其通过智能体与环境的交互获取信息、理解问题、做出决策并实现行动，从而产生智能行为和适应性。智能体与环境交互学习和主动探索自适应自进化物理身体内涵解析核

5、心方式表现基础关系：具身智能，人工智能视角 智能无人系统，机器人学视角物理身体真实环境感知感知交互学习与进化人形机器人无人系统行动行动狭义狭义广广义义物理世界虚拟环境具身智能目录一、具身智能概念二、具身智能感知三、具身智能控制四、具身智能展望具身智能感知与控制视触觉抓取机器人（ICRA 2022 最佳设计论文提名）将负压阻塞抓取与视触觉感知巧妙融合，实现感知抓取一体化视触觉抓取机器人（ICRA 2022 最佳设计论文提名）视触觉抓取机器人（ICRA 2022 最佳设计论文提名）感知抓取一体软体手爪（视触觉感知技术+负压阻塞抓取技术）浑浊水下打捞机器人（Soft Robotics 2023）基于

6、视触觉的世界首款可在浑浊水下进行物体搜索和打捞的机器人视触融合透明物抓取（IEEE TRO 2023）基于深度学习实现视觉、触觉融合的透明物抓取，达到人类水平视觉触觉视觉、触觉融合的透明物抓取方法视觉、触觉融合的透明物抓取方法咽拭子采样机器人（IROS 2023最佳应用论文提名）基于视触觉和深度学习实现精准柔顺采样，大幅提升安全和舒适性基于视触觉的咽拭子采样机器人多光谱视触觉感知（IEEE TRO 2024）融合可见光、近红外、中红外的多光谱感知，实现超越人类的感知能力多光谱多模态视触觉感知（可见光+近红外+中红外）目录一、具身智能概念二、具身智能感知三