夏锦涛-基于AI技术的视频空间化及分析技术与应用.pdf

1、P1夏锦涛超图研究院端产品研发中心 部门经理2023年6月28日，北京基于AI技术的视频空间化及分析技术与应用P2引言为实现自然资源“早发现、早制止”检测监管目标，多地正在快速构建“空天地一体化”自然资源智能监管系统。利用人工智能技术进行检测分析、智能识别，融合卫星、无人机、摄像头监测多方数据，及时发现违法用地，违法建筑等违法行为，实现全天候、全覆盖、24小时智能化监管。P3用户痛点 可旋转摄像头如何空间化 飞行中无人机如何实时空间化视频空间化视频分析0102 识别效率如何提升 支持更多检测类型P42019接入本地与RTSP视频流选取同名点手动空间化视频叠加矢量数据目标检测与地理围栏分析视频G

2、IS发展历程2020接入多路视频地图分级显示视频限速分析轨迹提取破损路面检测2021接入无人机视频相机参数空间化视频与场景融合显示分布式视频AI分析2022接入HLS(m3u8)、RTMP、HTTP等协议视频流集成Yolo v5系列模型提供模型训练工具目录视频空间化新进展01视频分析新进展02应用案例03P6P6视频空间化新进展1P7视频来源定点摄像头无人机视频P8定点摄像头空间化自动配准手动配准P9可旋转摄像头优点：覆盖范围广无死角P10旋转摄像头空间化难点P11配准优化支持设置摄像头当前朝向信息P12 参数预设配准优化P13配准算法优化优化前优化后P14配准优化P15摄像头旋转自动空间化P

3、16视频来源定点摄像头无人机视频P17新增支持轨迹字幕文件无人机视频接入P18在线数据上云API视频流相机参数流SuperMap iDesktopX接入P19视频流与参数流不同步，如何调整?网络波动卡 顿延 迟P20无人机视频流空间化同步视频流与相机轨迹流视频流识别视频流时间无人机实时轨迹信息基于视频时间识别功能实现视频与参数流同步P21动态视频空间化基于视频时间识别功能实现视频与参数流同步P22P22视频分析新进展2P23视频分析性能提升051015202530YOLOv5xYOLOv5lYOLOv5mYOLOv5sYOLOv5n帧率目标检测性能TorchTensorRT目标检测性能提升15

4、%目标检测新增支持TensorRT推理框架，并提供模型转换工具P24视频分析性能提升0510152025YOLOv5xYOLOv5lYOLOv5mYOLOv5sYOLOv5n帧率目标跟踪帧率对比SuperMap iDesktopX 11iSuperMap iDesktopX 11i(2023)目标跟踪性能提升 75%优化目标跟踪算法，由DeepSort替换为ByteTrack和OC-Sort算法，提升检测性能P25跟踪分析性能优化ByteTrackOC-SortP26视频分析性能提升分离检测与UI展示，纯后台检测性能提升检测ing显示检测结果RTMP视频流P27检测结果推送支持将带有检测结果的

5、视频推送为RTMP流，满足不同使用场景P28视频AI分析模型模型精度性能显存占用YOLOv7-E6E高低高YOLOv7-D6高低高YOLOv7-E6高低高YOLOv7-W6高低高YOLOv7-X中中中YOLOv7中中中YOLOv7-Tiny低高低新增YOLO v7全系列模型支持精度要求高性能综合，适用于实时检测P29新增检测模型内置更多检测模型，满足不同使用场景无人机车辆检测火灾烟雾识别P30拥堵与停车分析 新增无人机航拍模型 新增拥堵分析，根据平均车速分析上下行车道的拥堵情况 新增停车分析，可检测道路异常停车的情况，如高速路P31视频分析模型火灾烟雾检测P32P32应用案例3P33道路面出现

6、断裂、破损需及时养护和维修，否则，会给高速行驶的车辆带来巨大安全隐患，传统人工排查方法存在效率低、危险性高、时效性差等问题，采用视频监控+智能分析手段，可以通过更高效、智能的方法提取路面的破损区域，检测护栏位置是否偏移，及时为交通排除安全隐患。道路养护视频空间化01破损道路检测02地理围栏分析03P34道路养护P35道路养护P36流域监视违规采砂、非法捕捞、围垦湖泊、破坏流域环境等行为时有发生，传统人工巡湖发现不及时、取证难、调度难，费时费力。采用摄像头监控+人工智能技术，对