(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111669492.X (22)申请日 2021.12.3 0 (71)申请人 重庆特斯联智慧科技股份有限公司 地址 401329 重庆市九龙坡区兴谷路39号6 幢2-1号 (72)发明人 衡进　孙贇　姚郁巍　苏瑞　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 付婧 (51)Int.Cl. G01C 21/00(2006.01) G01S 17/86(2020.01) G01S 17/93(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于障碍物属性的机器人行进路径确 定方法和系统 (57)摘要 本发明公开了一种基于障碍物属性的机器 人行进策略确定方法和系统， 利用双目摄像机独 立对周围环 境进行描述， 根据重叠区域的空间位 置特征， 把两个独立坐标系下的点云融合到同一 坐标系中， 在两个点云中寻找重叠区域后进行图 像融合获得一次融合图像； 根据所述2D激光雷达 采集的图像获得轮廓信息； 将所述一次融合图像 与所述轮廓信息进行二次融合获得二次融合图 像， 根据所述二次融合图像进行障碍物提取， 计 算障碍物信息， 减少配准算法复杂会导致融合时 间， 本方法有效提高对障碍物建模精度， 会提高 机器人行进的安全性与时效性； 同时利用根据障 碍物轮廓信息划分分析区域减少了数据分析运 算时间， 提高了运 算速度。 权利要求书2页 说明书8页 附图1页 CN 114509061 A 2022.05.17 CN 114509061 A 1.一种基于障碍物属性的机器人 行进策略确定方法， 其特 征在于， 该 方法包括： S1、 根据深度双目摄像机与2D激光雷达采集机器人前方实时图像， 其中所述深度双目 摄像机为水平左右设置， 所述2D激光雷达设置在双目摄像机中央上方； 所述双目摄像机为 RGB‑D相机， 所述双目摄 像机中央设置红外线传感器， S2、 所述双目摄像机独立对周围环境进行描述， 根据重叠区域的空间位置特征， 把两个 独立坐标系下的点云融合到同一坐标系中， 在两个点云中寻找重叠区域后进 行图像融合 获 得一次融合图像； 根据所述2D激光雷达采集的图像获得轮廓信息； 将所述一次融合图像与 所述轮廓信息进行二次融合获得二次融合图像； S3、 根据所述 二次融合图像 轮廓信息进行障碍物判断并提取， S4、 计算障碍物信息， 根据所述障碍物信息获取障碍物属性信息， S5、 根据障碍物属性信息以及机器人自身属性信息确定行进策略， S6、 所述机器人根据行进策略调整行进路线。 2.根据权利要求1所述基于障碍物属性的机器人行进策略确定方法， 其特征在于： 所述 障碍物判断根据卷积神经网络模型， 将实时采集的二次融合图像进行计算获得判断结果， 所述神经网络模型 是根据多个二次融合图像利用随机梯度下降算法训练得到 。 3.根据权利要求1所述基于障碍物属性的机器人行进策略确定方法， 其特征在于： 所述 双目摄像机独立对周围环境进行描述， 根据重叠区域的空间位置特征， 把两个独立坐标系 下的点云融合到同一 坐标系中， 在两个点云中寻找重 叠区域后进行图像融合。 4.根据权利要求3所述基于障碍物属性的机器人行进策略确定方法， 其特征在于： 所述 图像融合包括， S11、 对点云进行 预处理， 将带有颜色信息的点云图转换为减色信息的点云图， S12、 对所述 点云图进行随机采样， 利用采样一 致性初始融合 算法进行一次匹配后， S13、 利用迭代最近点 算法进行二次匹配， 获得融合后三维点云图； 所述2D激光雷达采集的图像获得轮廓信息包括对2D激光雷达采集的图像的滤波操作， 所述滤波具体为： 采用非下采样轮廓变换算法进行分解得出图像中的高频部分与低频部 分， 对高频部 分根据中值滤波算法进 行过滤， 低频部 分根据非局部均值滤波算法进 行处理， 对于滤波后的图像再采用基于非下采样 轮廓变换算法的阈值去噪算法进 行图像的重构， 得 到去噪滤波后的图像并输出图像。 5.根据权利要求1所述基于基于障碍物属性的机器人行进策略确定方法， 其特征在于： 所述提取包括， 从所述二次融合图像中分割 出障碍物的位置与尺寸信息， 所述分割包括计 算背景颜色与所述轮廓区域内颜色的差值， 当差值超过第一阈值时， 则该区域为障碍物 区 域。 6.根据权利要求5所述基于障碍物属性的机器人行进策略确定方法， 其特征在于： 计算 障碍物信息包括， 根据所述二次融合图像中障碍物位置与尺寸信息提取所述障碍物的纹理 特征， 形态特征； 基于所述红外线传感器获得所述障碍物的温度信息； 根据所述障碍物的尺 寸信息， 纹 理特征， 形态特 征， 温度特 征建立障碍物特 征向量。 7.根据权利要求6所述基于障碍物属性的机器人行进策略确定方法， 其特征在于： 根据 障碍物类型以及其 他属性信息以及机器人自身属性信息确定当前 行进动作。 8.根据权利要求5所述基于障碍物属性的机器人行进策略确定方法， 其特征在于： 若障权　利　要　求　书 1/2 页 2 CN 114509061 A 2碍物温度信息超过第二阈值， 判断障碍物为 生命体， 则开启声光驱离装置进行驱离 。 9.根据权利要求7所述基于障碍物属性的机器人行进策略确定方法， 其特征在于： 所述 根据障碍物类型以及其 他属性信息以及机器人自身属性信息确定当前 行进动作具体为： S71、 机器人向前 行进识别障碍物后， 获取障碍物高度以及属性信息； S72、 判断障碍物的温度和纹理特征是否符合生命体特征， 若符合则进行驱离， 否则获 取障碍物高度和宽度信息， S73、 计算障碍物高度与机器人底盘高度差值， 若差值小于第三 阈值， 则进行翻 越， 若所 述差值大于第三阈值， 且障碍物边缘空隙大于机器人宽度， 则进行绕行， 否则执行后退动 作； S74、 机器人后退后， 重新选择其 他路径。 10.根据权利要求1所述基于障碍物属性的机器人行进策略确定方法， 其特征在于： 所 述图像一次融合中特 征点与立体空间关联关系为： 其中It(u,v)为t时刻帧特征点， d为特征点It(u,v)的深度值， S为深度图的缩放因子， k 为相机的内部参数矩阵， Pt(x,y,z)为 立体空间坐标； r为相机变换姿态参数。 进一步地， 参数矩阵k 为: 其中， fx和fy为相机在x轴和y轴的焦距， cx和cy为相机透镜的光圈值。权　利　要　求　书 2/2 页 3 CN 114509061 A 3