(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111676551.6 (22)申请日 2021.12.31 (71)申请人 中国人民解 放军国防科技大 学 地址 230037 安徽省合肥市蜀山区黄山路 460号 (72)发明人 朱斌　解博　朱耀轩　陈熠　 冷吴西　张峻洁　李西　 (74)专利代理 机构 合肥天明专利事务所(普通 合伙) 34115 专利代理师 苗娟 (51)Int.Cl. G05D 1/10(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的无人机圩堤管涌巡查 系统及方法 (57)摘要 本发明的一种基于深度学习的无人机圩堤 管涌巡查系统及方法， 包括无人机平台用于过载 可见光相机、 红外相机以及图传系统， 实现圩堤 沿线巡航飞行； 可见光相机实现对圩堤区域可见 光图像的拍摄与输出可见光视频流； 红外相机实 现对圩堤区域红外图像的拍摄与输出红外视频 流； 图传系统实现对可见光相机与红外相机视频 的接收， 将视频流发送至遥控器； 遥控器实现对 无人机平台的操控， 输出无人机图传视频流至地 面站； 地面站获取遥控器发送 来的无人机图传视 频流， 通过深度学习管涌检测模型， 在采集到的 可见光或者红外图像中实时检测管涌， 并通过图 形或者声音提示目标信息， 本发 明有效缓解抗洪 一线人力巡堤压力， 有效降低巡堤人员的安全风 险， 节约人力成本 。 权利要求书2页 说明书5页 附图2页 CN 114545965 A 2022.05.27 CN 114545965 A 1.一种基于深度 学习的无人机圩堤管涌巡查系统， 包括无人机平台、 可见光相机、 红外 相机、 图传系统、 遥控器、 地 面站， 其特 征在于， 还 包括深度学习管涌检测模型， 所述无人机平台用于过载可见光相机、 红外相机以及图传系统， 用于圩堤沿线巡航飞 行； 所述可见光相机， 用于对圩堤区域可 见光图像的拍摄与输出 可见光视频流； 所述红外相机， 用于对圩堤区域红外图像的拍摄与输出红外 视频流； 所述图传系统， 用于对可见光相机与红外相机视频的接收， 并通过2.4GHz或5.8GHz无 线电信号将视频流发送至 遥控器； 所述遥控器， 用于对无人机平台的操控， 航路规划， 接收图传信号， 输出无人机 图传视 频流至地 面站； 所述地面站包括深度学习管涌检测模型， 获取遥控器发送来的无人机 图传视频流， 通 过深度学习 管涌检测模型， 在采集到的可见光或者红外图像中实时检测管涌， 并通过图形 或者声音提示目标信息 。 2.根据权利要求1所述的基于深度学习的无人机圩堤管涌巡查系统， 其特征在于： 所述 深度学习管涌检测模型包括可 见光检测模型与红外检测模型以及融合模型； 可见光检测模型采用可见光波段的管涌视频数据训练， 模型使用轻量级的深度 学习端 到端检测模型； 红外检测模型采用红外波段的管涌视频数据训练， 模型使用轻量级的深度学习端到端 检测模型； 红外与可见光融合检测模型采用特征级与 决策级融合方式， 实现信息互补， 以及夜间 的管涌检测。 3.根据权利要求2所述的基于深度学习的无人机圩堤管涌巡查系统， 其特征在于： 所述 可见光与红外融合模型 是通过以下 过程生成的： (a)使用无人机同时采集管涌的可见光数据和红外数据， 按照4:1的比例分为双光训练 集和双光测试集； (b)利用配准 算法对步骤(a)中的可 见光数据和红外数据进行配准处 理； (c)利用步骤(b)中配准的训练图像对深度学习网络进行m次迭代训练， 直到网络在双 光测试集上的检测率达 到最大值， 其中m的取值是5 0至100。 4.根据权利要求3所述的基于深度学习的无 人机圩堤管涌巡查系统， 其特 征在于： 所述融合网络模型采用Dual ‑YOLOv3‑M结构， 所述Dual ‑YOLOv3‑M结构包括多个Res块 串联， Res块表示特征提取网络中的残差块， 其中， 串联的Res块分别为1个顶部及侧边的特 征图的尺寸分别208的,2个顶部及侧边的特征图的尺寸分别为104的， 8个顶部及侧边的特 征图的尺寸分别为52的， 还有8个顶部及侧边的特 征图的尺寸分别为26的； 还包括Conv块， Conv块为预测网络中的卷积块， 包含卷积、 上采样和特征融合操作， 构 成了3种尺度的金字塔型 预测网络； 还包括MS块， MS块为表示非极大值抑制操作， 用于剔除重 复预测的边界框， 提高预测精 度； Feature fusion与Concat表示特征张量的融合与连接 。 5.根据权利要求1所述的基于深度学习的无人机圩堤管涌巡查系统， 其特征在于： 所述权　利　要　求　书 1/2 页 2 CN 114545965 A 2地面站通过 无线或者有 线采集卡的方式与遥控器进行 数据传输 。 6.根据权利要求1所述的基于深度学习的无人机圩堤管涌巡查系统， 其特征在于： 所述 有线采集卡采用视频采集卡， 所述视频采集卡输入端与遥控器视频输出接口连接， 输出端 与地面站视频输入口连接 。 7.根据权利要求1所述的基于深度学习的无人机圩堤管涌巡查系统， 其特征在于： 所述 遥控器采用单遥控器巡航模式， 或采用多遥控接力飞行模式。 8.根据权利要求7 所述的基于深度学习的无 人机圩堤管涌巡查系统， 其特 征在于： 所述单遥控器巡航模式是指系统配备一台遥控器， 一名操作手， 通过规划航路， 无人机 按路径巡航检测管涌并最终 飞回起飞点； 所述多遥控器接力飞行模式是指系统配备N 台遥控器， N≥2,设N为4， 4 台遥控器， 由4名 操作手分别控制一台遥控器， 飞手位置沿圩堤沿线依次排布为A、 B、 C、 D点， 无人机规划航路 后， 从A点起飞至B点， 再从B点接力飞行到C点， 再从C点接力飞行到D点， 然后 返航依次经过 C、 B点最终回到A点降落； 所述多遥控器接力飞行模式， 利用无人机平台的图传、 遥控信号接力功能， 根据 无人机 所在位置， 将遥控信号与图传信号在多台遥控设备间切换。 9.根据权利要求1所述的基于深度学习的无人机圩堤管涌巡查系统， 其特征在于： 所述 地面站可独立运行深度学习管涌检测算法对采集的视频流进 行管涌检测， 并发出图像或声 音报警信息 。 10.一种基于深度学习的无人机圩堤管涌巡查方法， 其特征在于： 包括无人机开机后 通 过遥控器设置巡航路径， 起飞后 沿设定航线飞行； 飞行过程中通过机载双光摄像头拍摄圩 堤沿线外侧地 面视频传回地 面站实施管涌检测； 无人机可通过接力飞行方式， 使用多台遥控器视频通过图传模块传回遥控器显示， 同 时通过遥控器视频输出接口连接 视频采集 卡， 视频采集 卡将视频流输入地 面站； 地面站接收到实时视频后， 运行深度学习管涌检测程序实施管涌检测。权　利　要　求　书 2/2 页 3 CN 114545965 A 3