团体标准网
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111651778.5 (22)申请日 2021.12.3 0 (71)申请人 中航华东光电 (上海) 有限公司 地址 201114 上海市闵行区新骏环路1 15号 1号楼3层 (72)发明人 许召辉 王宏程 范光宇 (74)专利代理 机构 上海乐泓专利代理事务所 (普通合伙) 31385 专利代理师 张雪 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/50(2017.01) G06T 7/70(2017.01) (54)发明名称 一种基于机器视觉的室内目标物识别和测 距方法 (57)摘要 本发明涉及一种基于机器视觉的室内目标 物识别和测距方法, 涉及机器人视觉技术领域, 包括以下步骤: 利用相机获取深度图和点云图, YOLO算法识别物体, YOLO算法生成的物体边界 框, 对应生成深度图中的边界框, 对深度图中的 深度值进行去重并得到坐标, 匹配边界框中点云 与深度坐标, 通过几何测距得到机器人与目标物 体的距离。 其优点在于: 使用机器学习中的物体 识别和RGB ‑D视觉相结合的测距方法, 在相机捕 获的物体能够被识别的情况下, 即可达到测距的 目的.该方法不仅能得到识别对象的位置, 还可 得出被识别对象的具体名称, 有助于改善机器人 的场景理解能力。 权利要求书1页 说明书4页 附图1页 CN 114494857 A 2022.05.13 CN 114494857 A 1.一种基于 机器视觉的室内目标物 识别和测距方法, 其特 征在于, 包括以下步骤: S1: 利用相机获取深度图和点云图, 并进入S2步骤; S2: YOLO算法识别物体, 并进入S3步骤; S3: YOLO算法生成的物体边界框, 并进入S4 步骤; S4: 对应生成深度图中的边界框, 并进入S5步骤; S5: 对深度图中的深度值进行去重并得到坐标, 并进入S6步骤; S6: 匹配边界框中点云与深度坐标, 并进入S7步骤; S7: 通过几何测距得到 机器人与目标物体的距离 。 2.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法, 其特征在于, 步 骤S1中的相机为RGB ‑D相机。 3.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法, 其特征在于, 步 骤S2中的物体识别采用YOLOV4模块。 4.根据权利要求3所述的基于机器视觉的室内目标物识别和测距方法, 其特征在于, 步 骤S2中的物体识别还 包括在主机端搭建dark net框架。 5.根据权利要求4所述的基于机器视觉的室内目标物识别和测距方法, 其特征在于, 所 述主机端搭建dark net框架包括以下步骤: 对具体物体数据 集进行标注后进行kmeans聚类; 使用YOLOV4模型对特定物体数据 集进 行训练, 损失值降到最低时结束; 将训练好的YOLOV4权 重文件替换进行目标识。 6.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法, 其特征在于, 步 骤S3中YOLO算法生成的物体边界框, 包括将RGB ‑D相机获取的图像作为物体识别模块的输 入图像, 得到被识别的物体的名称和物体在输入图像中所占据的边界框的坐标。 7.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法, 其特征在于, 步 骤S4中对应生成深度图中的边界框, 包括在深度图中框选一个与识别模块中一样的边界 框, 将步骤3获得的边界框坐标对应到深度图中, 在剪切深度图中框 选的区域。 8.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法, 其特征在于, 步 骤S5中对深度图中的深度值进 行去重并得到坐标, 包括对框选的深度图中的灰度图进行去 重操作, 剩下的作为 其灰度值; 灰度值的深度计算如下: Q[x y d 1]T=[X Y Z W]T。 9.根据权利要求8所述的基于机器视觉的室内目标物识别和测距方法, 其特征在于, 步 骤S6中匹配边界框中点云与深度坐标, 包括根据获得的灰度值, 通过该灰度值在深度图中 的一系列坐标。 10.根据权利要求9所述的基于机器视觉的室内目标物识别和测距方法, 其特征在于, 步骤S7中通过几何测距得到机器人与目标物体的距离, 包括把步骤S 6中得到的坐标对应到 点云图中, 即可获得输入图像中被框 选物体与相机的距离; 测距计算如下: 权 利 要 求 书 1/1 页 2 CN 114494857 A 2一种基于机 器视觉的室内 目标物识别和测距 方法 技术领域 [0001]本发明涉及机器人视觉技术领域, 更具体地说, 涉及一种基于机器视觉的室内目 标物识别和测距方法。 背景技术 [0002]随着社会的发展, 各种类型的机器人已逐渐应用到社会的各行各业.尤其是近些 年来计算机视觉技术带来的巨大变化, 视觉技术在机器人行业的应用也越来越普遍.服务 机器人在室内场景中完成对给定目标的识别和测距, 进而达到机器人对场景理解的目的是 服务机器人应用中的重要环 节之一。 [0003]如果仅仅用于避障目的, 目前主要使用的方法有超声波测距、 红外测距、 激光测距 和双目立体视 觉测距法等。 [0004]但是, 现有技术中没有解决物体识别和测距同时实时进行, 使用单目摄像头测距 精度较差 。 [0005]前面的叙述在于提供一般的背景信息, 并不 一定构成现有技 术。 发明内容 [0006]本发明的目的在于提供一种基于机器视觉的室内目标物识别和测距方法, 不仅能 得到识别对 象的位置, 还可得出被识别对 象的具体名称, 有助于改善机器人 的场景理解能 力。 [0007]本发明提供一种基于 机器视觉的室内目标物 识别和测距方法, 包括以下步骤: [0008]S1: 利用相机获取深度图和点云图, 并进入S2步骤; [0009]S2: YOLO算法识别物体, 并进入S3步骤; [0010]S3: YOLO算法生成的物体边界框, 并进入S4 步骤; [0011]S4: 对应生成深度图中的边界框, 并进入S5步骤; [0012]S5: 对深度图中的深度值进行去重并得到坐标, 并进入S6步骤; [0013]S6: 匹配边界框中点云与深度坐标, 并进入S7步骤; [0014]S7: 通过几何测距得到 机器人与目标物体的距离 。 [0015]进一步地, 步骤S1中的相机为RGB ‑D相机。 [0016]进一步地, 步骤S2中的物体识别采用YOLOV4模块。 [0017]进一步地, 步骤S2中的物体识别还 包括在主机端搭建dark net框架。 [0018]进一步地, 所述主机端搭建darknet框架包括以下步骤: 对具体物体数据集进行标 注后进行kmeans聚类; 使用YOLOV4模型对特定物体数据集进行训练, 损失值降到最低时结 束; 将训练好的YOLOV4权 重文件替换进行目标识。 [0019]进一步地, 步骤S3中YOLO算法生成的物体边界框, 包括将RGB ‑D相机获取的图像作 为物体识别模块的输入图像, 得到被识别的物体的名称和物体在输入图像中所占据的边界 框的坐标。说 明 书 1/4 页 3 CN 114494857 A 3
专利 一种基于机器视觉的室内目标物识别和测距方法
文档预览
中文文档
7 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共7页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 人生无常 于
2024-03-18 21:47:33
上传分享
举报
下载
原文档
(384.4 KB)
分享
友情链接
GB-T 34027-2017 热连轧主传动十字轴式万向联轴器.pdf
GA 1800.1-2021 电力系统治安反恐防范要求 第1部分:电网企业.pdf
GB-T 43079.1-2023 钢制管法兰、垫片及紧固件选用规定 第1部分:PN系列.pdf
T-CIE 116—2021 电子元器件故障树分析方法与程序.pdf
DB11T 1998-2022 既有公共建筑节能绿色化改造技术规程.pdf
GB-T 13575.1-2022 普通和窄V带传动 第1部分:基准宽度制.pdf
T-CSUS 04—2020 装配式磷石膏隔墙体技术标准.pdf
T-SSITS 204—2023 工业应用移动机器人与其调度系统数据接口规范.pdf
T-CGIA 035—2022 高导热膜用石墨烯材料应用指南.pdf
GA-T 841-2021 基于离子迁移谱技术的痕量毒品-炸药探测仪通用技术要求.pdf
软件开发管理制度.pdf
GB-T 40018-2021 信息安全技术 基于多信道的证书申请和应用协议.pdf
SL-T 799-2020 水利数据目录服务规范.pdf
GB-T 41260-2022 数字化车间信息安全要求.pdf
GB-T 35284-2017 信息安全技术 网站身份和系统安全要求与评估方法.pdf
YD-T 3907.3-2021 基于BB84协议的量子密钥分发(QKD)用关键器件和模块 第3部分:量子随机数发生器(QRNG).pdf
GB-T 39775-2021 能源管理绩效评价导则.pdf
GB-T 37606-2019 钛-钢复合管.pdf
GB-T 29156-2012 金属复合装饰板材生产生命周期评价技术规范 产品种类规则.pdf
T-ZSA 123—2022 磁悬浮飞轮储能本体技术规范.pdf
1
/
3
7
评价文档
赞助2元 点击下载(384.4 KB)
回到顶部
×
微信扫码支付
2
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。