(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111667953.X (22)申请日 2021.12.3 0 (71)申请人 山东奥邦交通设施工程有限公司 地址 250102 山东省济南市高新区综合保 税区港兴三路北段1号济南药谷研发 平台区1号楼B座0701室 (72)发明人 杨哲　王晓东　滕广华　张英　 孙思芹　陈曦　刘文晓　邵强　 王超　颜正凯　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 代理人 祖之强 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/64(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) (54)发明名称 基于单目视觉和深度学习的车辆检测方法 及系统 (57)摘要 本发明提供了一种基于单目视觉和深度学 习的车辆检测方法及系统， 获取高速公路视频帧 图像数据， 采用进化算法优化二维空间到三维空 间反投影的相机参数， 进行相机标定， 得到标定 后的相机参数； 采用神经网络进行车辆检测， 得 到车辆类型和二维边界框， 采用标定后的相机参 数将车辆二维边界框脚点回溯到三维空间， 得到 世界坐标系下的车辆坐标点； 根据世界坐标系下 的车辆坐标点与相机确立的零点坐标采用欧氏 距离计算车辆距离， 基于滑动时间窗口算法根据 车辆距离计算车辆速度， 判断速度方差是否小于 给定的阈值， 若速度太小的车辆判断为停止车 辆； 实现了车辆距离和车辆速度的快速检测， 提 高了检测的实时性。 权利要求书3页 说明书9页 附图3页 CN 114419547 A 2022.04.29 CN 114419547 A 1.一种基于单目视 觉和深度学习的车辆检测方法， 其特 征在于： 包括以下 过程： 获取高速公路视频帧图像数据， 采用进化算法优化二维空间到三维空间反投影的相机 参数， 进行相机标定， 得到标定后的相机参数； 采用神经网络进行车辆检测， 得到车辆类型和二维边界框， 采用标定后的相机参数将 车辆二维边界框脚点回溯到三维空间， 得到世界坐标系下的车辆坐标点； 根据世界坐标系下的车辆坐标点与相机确立的零 点坐标采用欧氏距离计算车辆距离 。 2.一种基于单目视 觉和深度学习的车辆检测方法， 其特 征在于： 包括以下 过程： 获取高速公路视频帧图像数据， 采用进化算法优化二维空间到三维空间反投影的相机 参数， 进行相机标定， 得到标定后的相机参数； 采用神经网络进行车辆检测， 得到车辆类型和二维边界框， 采用标定后的相机参数将 车辆二维边界框脚点回溯到三维空间， 得到世界坐标系下的车辆坐标点； 根据世界坐标系下的车辆坐标点与相机确立的零 点坐标采用欧氏距离计算车辆距离； 基于得到的车辆距离， 通过基于直方图的自适应外观模型学习长期车辆外观变化， 得 到待检测车辆的轨 迹， 采用聚类方法将车辆的轨 迹关联到更长的轨 迹。 3.如权利要求2所述的基于单目视 觉和深度学习的车辆检测方法， 其特 征在于： 采用聚类方法将车辆的轨 迹关联到更长的轨 迹， 包括： 通过损失函数进行跟踪轨迹关联的自下而上的聚类， 将轨迹关联到更长的轨迹中， 实 现车辆跟踪， 所有轨 迹迭代地聚集成轨 迹， 直到收敛。 4.如权利要求2所述的基于单目视 觉和深度学习的车辆检测方法， 其特 征在于： 采用基于直方图的自适应外观模型计算外观变化损失， 包括： 将检测到的包围框内每 个被裁剪的车辆区域构建直方图； 当车辆被其他物体遮挡时， 遮挡区域在构建视觉特征的串联直方图之前被从 目标区域 中移除， 采用高斯分布对直方图构建的像素值进行空间加权； 外观变化损失为两个不匹配的外观模型的直方图向量的比例， 轨迹 中的车辆按照外观 变化损失根据深度信息将它们的外观模型合并在一起， 采用合并后的外观模型描述车辆沿 整个轨迹的外观变化。 5.一种基于单目视 觉和深度学习的车辆检测方法， 其特 征在于： 包括以下 过程： 获取高速公路视频帧图像数据， 采用进化算法优化二维空间到三维空间反投影的相机 参数， 进行相机标定， 得到标定后的相机参数； 采用神经网络进行车辆检测， 得到车辆类型和二维边界框， 采用标定后的相机参数将 车辆二维边界框脚点回溯到三维空间， 得到世界坐标系下的车辆坐标点； 根据世界坐标系下的车辆坐标点与相机确立的零 点坐标采用欧氏距离计算车辆距离； 基于滑动时间窗口算法根据 车辆距离计算车辆速度， 判断速度方差是否小于给定的阈 值， 若速度太小的车辆判断为停止车辆 。 6.如权利要求1 ‑5任一项所述的基于单目视觉和深度学习的车辆检测方法， 其特征在 于：权　利　要　求　书 1/3 页 2 CN 114419547 A 2相机标定， 包括： 接收在高速公路视频监测图像中手动标记的两对消失线和相机的高度范围； 根据标记的两对消失线导出地平面上的两个消失点； 根据两个消失点和相机的高度 范围计算相机参数， 采用优化算法优化二维空间到三维 空间反投影的相机参数， 进行高速公路视频监测相机标定； 采用优化 算法最小化重投影误差 。 7.如权利要求1 ‑5任一项所述的基于单目视觉和深度学习的车辆检测方法， 其特征在 于： 采用神经网络在基于深度学习的多模块协同物体识别模型中进行 车辆检测， 包括： 视频输入单 元， 用于接收实时视频 数据并将其存 入指定的内存区域； 视频处理子系统单元， 用于调取内存区域的原始视频数据并将其分解为基础视频数据 和扩展视频数据； 其中， 基础视频数据保持原始视频数据的分辨率； 扩展视频数据的分辨率 与神经网络加速引擎单 元内的神经网络模型相匹配； 智能视频引擎单元， 用于将当前扩展视频数据中的图像帧数据转化为神经网络模型相 匹配的图像 格式的帧数据； 神经网络加速引擎单元， 用于获取格式转化后的帧数据， 通过神经网络模型识别得到 物体的类别与轮廓四点坐标位置信息， 神经网络加速引擎单元在初始化操作过程中包括加 载特定格式的已经训练好的神经网络模型； 视频图形子系统单元， 用于获取基础视频数据， 再基于物体的类别及轮廓 四点坐标位 置信息， 在基础视频 数据中勾画出识别物体的轮廓框； 视频输出 单元， 用于输出带有识别物体 轮廓框的视频图像数据。 8.一种基于单目视 觉和深度学习的车辆检测系统， 其特 征在于： 包括： 数据获取模块， 被配置为： 获取高速公路视频帧图像数据， 采用进化算法优化二维空间 到三维空间反投影的相机参数， 进行相机标定， 得到标定后的相机参数； 车辆检测模块， 被配置为： 采用神经网络进行车辆检测， 得到车辆类型和二维边界框， 采用标定后的相机参数将车辆二 维边界框脚点回溯到三 维空间， 得到世界坐标系下的车辆 坐标点； 距离检测模块， 被配置为： 根据世界坐标系下的车辆坐标点与相机确立的零点坐标采 用欧氏距离计算车辆距离； 或者， 包括： 数据获取模块， 被配置为： 获取高速公路视频帧图像数据， 采用进化算法优化二维空间 到三维空间反投影的相机参数， 进行相机标定， 得到标定后的相机参数； 车辆检测模块， 被配置为： 采用神经网络进行车辆检测， 得到车辆类型和二维边界框， 采用标定后的相机参数将车辆二 维边界框脚点回溯到三 维空间， 得到世界坐标系下的车辆 坐标点； 距离检测模块， 被配置为： 根据世界坐标系下的车辆坐标点与相机确立的零点坐标采 用欧氏距离计算车辆距离；权　利　要　求　书 2/3 页 3 CN 114419547 A 3