(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111651778.5 (22)申请日 2021.12.3 0 (71)申请人 中航华东光电 （上海） 有限公司 地址 201114 上海市闵行区新骏环路1 15号 1号楼3层 (72)发明人 许召辉　王宏程　范光宇　 (74)专利代理 机构 上海乐泓专利代理事务所 (普通合伙) 31385 专利代理师 张雪 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/50(2017.01) G06T 7/70(2017.01) (54)发明名称 一种基于机器视觉的室内目标物识别和测 距方法 (57)摘要 本发明涉及一种基于机器视觉的室内目标 物识别和测距方法， 涉及机器人视觉技术领域， 包括以下步骤： 利用相机获取深度图和点云图， YOLO算法识别物体， YOLO算法生成的物体边界 框， 对应生成深度图中的边界框， 对深度图中的 深度值进行去重并得到坐标， 匹配边界框中点云 与深度坐标， 通过几何测距得到机器人与目标物 体的距离。 其优点在于： 使用机器学习中的物体 识别和RGB ‑D视觉相结合的测距方法， 在相机捕 获的物体能够被识别的情况下， 即可达到测距的 目的.该方法不仅能得到识别对象的位置， 还可 得出被识别对象的具体名称， 有助于改善机器人 的场景理解能力。 权利要求书1页 说明书4页 附图1页 CN 114494857 A 2022.05.13 CN 114494857 A 1.一种基于 机器视觉的室内目标物 识别和测距方法， 其特 征在于， 包括以下步骤： S1： 利用相机获取深度图和点云图， 并进入S2步骤； S2： YOLO算法识别物体， 并进入S3步骤； S3： YOLO算法生成的物体边界框， 并进入S4 步骤； S4： 对应生成深度图中的边界框， 并进入S5步骤； S5： 对深度图中的深度值进行去重并得到坐标， 并进入S6步骤； S6： 匹配边界框中点云与深度坐标， 并进入S7步骤； S7： 通过几何测距得到 机器人与目标物体的距离 。 2.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法， 其特征在于， 步 骤S1中的相机为RGB ‑D相机。 3.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法， 其特征在于， 步 骤S2中的物体识别采用YOLOV4模块。 4.根据权利要求3所述的基于机器视觉的室内目标物识别和测距方法， 其特征在于， 步 骤S2中的物体识别还 包括在主机端搭建dark net框架。 5.根据权利要求4所述的基于机器视觉的室内目标物识别和测距方法， 其特征在于， 所 述主机端搭建dark net框架包括以下步骤： 对具体物体数据 集进行标注后进行kmeans聚类； 使用YOLOV4模型对特定物体数据 集进 行训练， 损失值降到最低时结束； 将训练好的YOLOV4权 重文件替换进行目标识。 6.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法， 其特征在于， 步 骤S3中YOLO算法生成的物体边界框， 包括将RGB ‑D相机获取的图像作为物体识别模块的输 入图像， 得到被识别的物体的名称和物体在输入图像中所占据的边界框的坐标。 7.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法， 其特征在于， 步 骤S4中对应生成深度图中的边界框， 包括在深度图中框选一个与识别模块中一样的边界 框， 将步骤3获得的边界框坐标对应到深度图中， 在剪切深度图中框 选的区域。 8.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法， 其特征在于， 步 骤S5中对深度图中的深度值进 行去重并得到坐标， 包括对框选的深度图中的灰度图进行去 重操作， 剩下的作为 其灰度值； 灰度值的深度计算如下： Q[x y d 1]T＝[X Y Z W]T。 9.根据权利要求8所述的基于机器视觉的室内目标物识别和测距方法， 其特征在于， 步 骤S6中匹配边界框中点云与深度坐标， 包括根据获得的灰度值， 通过该灰度值在深度图中 的一系列坐标。 10.根据权利要求9所述的基于机器视觉的室内目标物识别和测距方法， 其特征在于， 步骤S7中通过几何测距得到机器人与目标物体的距离， 包括把步骤S 6中得到的坐标对应到 点云图中， 即可获得输入图像中被框 选物体与相机的距离； 测距计算如下： 权　利　要　求　书 1/1 页 2 CN 114494857 A 2一种基于机 器视觉的室内 目标物识别和测距 方法 技术领域 [0001]本发明涉及机器人视觉技术领域， 更具体地说， 涉及一种基于机器视觉的室内目 标物识别和测距方法。 背景技术 [0002]随着社会的发展， 各种类型的机器人已逐渐应用到社会的各行各业.尤其是近些 年来计算机视觉技术带来的巨大变化， 视觉技术在机器人行业的应用也越来越普遍.服务 机器人在室内场景中完成对给定目标的识别和测距， 进而达到机器人对场景理解的目的是 服务机器人应用中的重要环 节之一。 [0003]如果仅仅用于避障目的， 目前主要使用的方法有超声波测距、 红外测距、 激光测距 和双目立体视 觉测距法等。 [0004]但是， 现有技术中没有解决物体识别和测距同时实时进行， 使用单目摄像头测距 精度较差 。 [0005]前面的叙述在于提供一般的背景信息， 并不 一定构成现有技 术。 发明内容 [0006]本发明的目的在于提供一种基于机器视觉的室内目标物识别和测距方法， 不仅能 得到识别对 象的位置， 还可得出被识别对 象的具体名称， 有助于改善机器人 的场景理解能 力。 [0007]本发明提供一种基于 机器视觉的室内目标物 识别和测距方法， 包括以下步骤： [0008]S1： 利用相机获取深度图和点云图， 并进入S2步骤； [0009]S2： YOLO算法识别物体， 并进入S3步骤； [0010]S3： YOLO算法生成的物体边界框， 并进入S4 步骤； [0011]S4： 对应生成深度图中的边界框， 并进入S5步骤； [0012]S5： 对深度图中的深度值进行去重并得到坐标， 并进入S6步骤； [0013]S6： 匹配边界框中点云与深度坐标， 并进入S7步骤； [0014]S7： 通过几何测距得到 机器人与目标物体的距离 。 [0015]进一步地， 步骤S1中的相机为RGB ‑D相机。 [0016]进一步地， 步骤S2中的物体识别采用YOLOV4模块。 [0017]进一步地， 步骤S2中的物体识别还 包括在主机端搭建dark net框架。 [0018]进一步地， 所述主机端搭建darknet框架包括以下步骤： 对具体物体数据集进行标 注后进行kmeans聚类； 使用YOLOV4模型对特定物体数据集进行训练， 损失值降到最低时结 束； 将训练好的YOLOV4权 重文件替换进行目标识。 [0019]进一步地， 步骤S3中YOLO算法生成的物体边界框， 包括将RGB ‑D相机获取的图像作 为物体识别模块的输入图像， 得到被识别的物体的名称和物体在输入图像中所占据的边界 框的坐标。说　明　书 1/4 页 3 CN 114494857 A 3