多模态融合技术与电力机器人应用.pdf

1、双 丰多模态融合技术与电力机器人应用 提纲1.背景介绍2.传感器和模态3.多模态融合方法及应用4.空中挂线机器人5.大负载上下线机器人平台电力装备智能控制与运维 广西重点实验室智能计算与量子人工智能研究室带电作业机器人研究室飞行巡检机器人研究室智能电力巡检与机器视觉研究室电力电子装备研究室电力设备传感与信息处理研究室电力设备在线检测研究室电气设备状态评估研究室高效电能转换与无线传输研究室微电网与集群系统协同控制研究室电力图谱与智能人机交互研究室新型电力系统运行与控制研究室1.背景介绍随着电网规模扩大和智能化发展，复杂的电力场景对电力机器人技术提出了更高的要求，促使其向多模态融合发展。报告介绍电

2、力机器人应用中常见传感器类型及多模态融合趋势，分析介绍无人机、机器人的应用研究案例。1.背景介绍理想的电力巡检：1.环境简单，无人机航拍视频，无交互操作2.机器人在输电线上来回作业1.背景介绍真实的挑战：1.任务复杂，人机如何协调配合？2.环境复杂，机器人如何动态规划？3.谁来把机器人抬上输电线？1.背景介绍总结：电网运维任务面临的挑战与潜在的自动化需求点1.复杂场景催生多模态融合需求2.输电网智能机器人上线困难3.大力矩、大负载任务缺乏自动化解决方案4.无人机作业场景下相间穿越危险重重2.传感器和模态在电力机器人技术中，传感器提供了机器人与环境进行交互和感知的能力。一些常用的传感器包括视觉传

3、感器、惯性测量单元、声音传感器和激光雷达等。视觉传感器，如摄像头和深度摄像头，可以提供图像和视频数据，用于环境感知和障碍物检测。惯性测量单元（IMU）由加速度计和陀螺仪组成，用于测量机器人的加速度和角速度，提供导航和定位所需的信息。声音传感器可以用于检测电力设备的异常声音或故障警报。而激光雷达则可以生成高精度的点云数据，用于三维环境建模和障碍物检测。多模态融合的特性与挑战：这些传感器的不同模态可以提供丰富的信息，但也存在数据的不一致性、噪声和不确定性等挑战。2.传感器和模态电力机器人领域常见传感器：传统相机 激光雷达 红外、紫外相机 惯性测量单元 卫星定位传感器 力传感器对应数据模态：静态图像

4、 点云数据 红外图像、紫外图像 航姿数据 位置数据 力数据1.点云与视觉多模态融合 目前的点云语义分割方法在很大程度上忽略了全局上下文关系，没有充分利用局部特征与高级几何信息之间的互补。针对这一问题，我们提出了一种新的深度神经网络，即基于密集连接的核点网络(DenseKPNet)，它可以极大地扩展核点卷积的接受域，有效地从局部区域提取丰富的语义上下文信息和有价值的几何特征。构建跨尺度卷积核重视局部集合特征学习核点卷积关注模块(KPCAM)，该模块可以捕获点之间的全局相互依赖性，增强有效特征的判别性。Li Yong,Li Xu,Shuang Feng,et.al.DenseKPNET:Dense

5、 Kernel Point Convolutional Neural Networks for Point Cloud Semantic Segmentation.IEEE Transactions on Geoscience and Remote Sensing.60.10.1109/TGRS.2022.3162582.DenseKPNet：融合全局与局部特征的点卷积网络1.点云与视觉多模态融合DenseKPNet在山区场景的语义分割实验结果山区电力线场景的语义分割结果1.点云与视觉多模态融合Xiuning Liu，Yong Li，Feng Shuang，et.al.SS-IPLE：Sema

6、ntic segmentation of electric power corridor scene and individual power lines extraction from UAV-based Lidar point cloud.IEEE JSTAR，2023.重点目标的语义分割和电力线的点云提取是电力线检测的关键步骤。然而，大量的点云数据和缺失的电力线点给目标提取带来了挑战。为了完成电力线等基本目标的提取，我们提出了一种基于点向多层感知机语义分割网络的SS-IPLE方法。该方法主要包括两个部分:电力走廊语义分割和个别电力线提取。在分割步骤中，采用SCFNet作为我们的主要分割网