(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111669195.5 (22)申请日 2021.12.31 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 阮晓钢　周晨　黄静　许润玉　 林晨亮　李宇凡　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 沈波 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/246(2017.01) G06T 7/70(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种室内动态场景下基于目标检测的语义 视觉SLAM定位方法 (57)摘要 本发明公开了一种室内动态场景下基于目 标检测的语义视觉SLA M定位方法， 属于 人工智能 与机器人和计算机视觉领域。 本发 明使用深度相 机采集图像。 首先对相机采集的图像序列利用 YOLOv5s目标检测网络进行物体识别， 以识别出 的动态物体为基础划定图像帧的动态区域， 将动 态区域内的特征点剔除； 同时利用对极几何特性 的几何约束配合目标检测网络进一步检查特征 点是否为动态特征点； 结合局部建图与闭环检测 模块构成完整的语义视觉SLA M系统。 经过 实验证 明， 本发明显著降低了动态环境下SLAM系统的轨 迹误差， 同时保证系统可 以实时运行， 有效平衡 了SLAM系统位姿估计的准确性、 鲁棒性和快速 性。 权利要求书2页 说明书6页 附图2页 CN 114677323 A 2022.06.28 CN 114677323 A 1.一种室内动态场景下基于目标检测的语义视觉SLAM定位方法， 该方法以深度相机构 成的硬件平台为基础， 其特征在于： 使用YOLOv5s网络对图像中各先验物体进行语义识别， 划分出图像的动静区域， 同时使用光流法跟踪提取到的特征点， 然后通过对极几何约束算 法检测出其中的动态特 征点； 具体的流 程如下： (1)对深度相机采集的图像序列利用YOLOv5s目标检测网络获取图像帧中所有先验物 体的边界框及其对应的分类概率， 划分出所有的动态物体， 剔除一切动态物体所包含的特 征点； 1.1)搭建YOLOv5s目标检测网络， 利用YOLOv5s目标检测网络识别图像帧中的各个物 体； 1.2)将MS  COCO数据集作为样本， 训练YOLOv5s目标检测网络， 识别的物体类别分为三 种： 第一种 是动态置信度高的移动对 象； 第二种 是静态置信度高的对 象或潜在动态的移动 对象， 第三种是绝对静态 物体； 1.3)将标准大小的RGB图像输入YOLOv5s目标检测网络， 得到该图像中所有被训练过的 物体名称、 位置及其分类概率； 对于动态物体， 会去除框内所有 特征点； 对于静态物体， 检测 框内的特征点全部保留； 对于潜在动态物体上提取的特征点需要配合对极 几何约束综合检 测； (2)由于目标检测算法无法去 除潜在动态物体所包含的特征点， 利用光流法和对极几 何约束算法配合目标检测网络综合判断特 征点是否为动态特 征点； 2.1)对深度相机采集的图像序列提取ORB特 征点； 2.2)使用光流法获取特征点在图像序列不同帧中的位置， 在图像序列中实现特征点的 追踪， 以特 征点p1和p2表示不同帧中的匹配特 征点， 假设p1和p2的坐标表示 为： 2.3)使用八点法估计得到基础矩阵F， 使用基础 矩阵和特征点p1计算得到当前帧中特征 点对应的极线l1； 2.4)计算比较p2到p1对应极线I1的距离与预定阈值的大小来判断特征点是否属于动态 特征点， 其中点p2到极线I1之间的距离d可通过 下式计算： (3)通过插入关键帧、 删除冗余地图点、 局部集束优化、 筛选局部关键帧来建立局部地 图； (4)通过闭环检测来确定当前场景是否为先前经历过的场景， 检测到闭环时为后端优 化提供可用信息， 解决位置估计随时间漂移的问题。 2.根据权利要求1所述的一种室内动态场景下基于目标检测 的语义视觉SLAM定位方权　利　要　求　书 1/2 页 2 CN 114677323 A 2法， 其特征在于： 对输入图像中各个物体进行识别、 划分动静对象的网络为YOLOv5s网络 。 3.根据权利要求1所述的一种室内动态场景下基于目标检测 的语义视觉SLAM定位方 法， 其特征在于： 采用光流法和对极几何约束配合YOLOv5 s目标检测网络共同筛选出动态物 体和潜在动态 物体上的动态特 征点。 4.根据权利要求1所述的一种室内动态场景下基于目标检测 的语义视觉SLAM定位方 法， 其特征在于： 所描述的完整语义视觉SLAM系统利用步骤1至步骤4对含有动态物体的室 内场景进行应用。权　利　要　求　书 2/2 页 3 CN 114677323 A 3