潘为-基于机器学习的无人机智能控制.pdf

1、基于机器学习的无人机智能控制研究汇报人：潘为一二三四五目 录研究背景与意义基于强化学习的无人机控制无人机系统辨识与模型学习总结与展望无人机集群分布式协同控制一 研究背景与意义一 研究背景与意义1.国内外现状无人机应用场景目前制约无人机大规模应用主要因素在于智能化不足、决策能力不足，缺乏实时自主决策能力，尤其是在通信干扰、失联等复杂环境下。无人机送货无人机送货农业灌溉农业灌溉影视拍摄影视拍摄风力发电机叶片清理风力发电机叶片清理灯光秀灯光秀空中出租车空中出租车一 研究背景与意义“无人机+智能”：加速融合无人机与人工智能技术的研究才能率先突破奇点，促进国家经济和国防实力的提升。加快发展新质生产力，积

2、极打造低空经济等新增长引擎20242024政府工作报告政府工作报告国务院印发国务院印发新一代人工智能发展规划新一代人工智能发展规划将人机协同增强智能、群体集成智能、自主智能系统等列为人工智能发展重点。1.国内外现状全球低空经济总量和美国低空经济结构（来源：摩根斯坦利）来源：英国商业、能源和工业战略部和以及交通部来源：欧盟国外低空经济政策国外低空经济政策一 研究背景与意义5.智能无人机系统特征智能无人机的三个组成要素：智能体构成系统的基本单元，例如：有人/无人机、不同类型无人机等。1交互方式描述智能体与智能体，智能体与环境之间的相互作用关系，例如：信息传输的拓扑网络关系。2行为规则描述智能体接收

3、信息之后的反应规则，例如：导航或者控制律生成规则。3智能无人机的四个典型特征：123自组织基于实时状态与环境交互及认知，形成时空逻辑自主协作。11自适应任务执行不受环境变化以及个体状态异常影响。12自学习根据来自环境性能反馈而修正并归纳其自身行为。13自涌现涌现出新的整体行为和系统能力，实现“1+12”。14无人集群系统无人集群系统生物集群系统生物集群系统映射微型无人机微型无人机生物系统生物系统二 基于强化学习的无人机控制n 基于Lyapunov稳定性理论的安全策略学习方法研究1.强化学习的基本概念强化学习u 无人机控制问题状态和动作空间大，实时性强；u 强化学习通过与环境交互自主探索决策策略

4、；u 强化学习在线不断学习适应环境变化；u 强化学习探索获得在未知或动态环境中的最优策略。智能体（Agent）以“试错”的方式 进 行 学 习，通 过 与 环 境（Environment）进行交互获得的奖励（Reward）指导行为（Action），目标是使智能体获得的长期奖励最大，或实现特定目的。强化学习在人工智能中分类强化学习在人工智能中分类强化学习的分类强化学习的分类无人机决策与控制问题中，为什么要用强化学习？单智能体强化学习多智能体强化学习智能体决策序列智能体决策序列二 自主无人系统智能控制强化学习2.强化学习的发展历程事 件201320162020DeepMind利用强化学习玩Atar

5、i游戏分数超过人类玩家Alpha Go在围棋比赛中以1比4的战绩击败人类顶尖职业选手李世石2016人工智能成果应用于拥有巨大状态空间的系统2019人工智能的应用推进到连续动作空间和无限状态空间系统Alpha Star战胜世界锦标赛亚军得主ManaAlphaDogfightTrials中AI系统驾驶F-16以5比0击败人类王牌飞行员2020人工智能初步应用于战法复杂的空战训练2019越来越接近真实世界，技术加速度越来越快。2013开拓人工智能新疆界二 无人集群作战自主决策 强化学习3.强化学习的现实应用在灵巧手中的应用OpenAI 机器手自学解魔在竞速无人机中的应用苏黎世大学自主无人机竞速目前，

6、工业界已经开始尝试应用强化学习到实际场景中，强化学习以其强大的自主决策能力和探索/试错能力，具备广阔的应用前景。二 自主无人系统智能控制强化学习在人形机器人中的应用波士顿动力机器人开门4.基于“Lyapunov”稳定性理论的安全策略学习方法研究能否将复杂安全控制任务进行约简，采用学习的方法结合规则知识构建性能评价函数，进而保证系统稳定性和安全性?如何考虑在观测信息、模型信息等存在不确定偏差的情况下，提升学习效率和效果?面向机器人导航避障的任务场景构建稳定性与安全性结合控制理论给予保障“端到端”控制输出执行器指令解决模块耦合“Sim2Real”问题在实际机器人平台验证Control Barrie