(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111671949.0 (22)申请日 2021.12.31 (71)申请人 深圳市镭神智能系统有限公司 地址 518104 广东省深圳市宝安区沙 井街 道坣岗社区坣岗大道文体中心商业楼 1栋4层 (72)发明人 银江涛　胡小波　冯洪亮　 (74)专利代理 机构 北京品源专利代理有限公司 11332 代理人 潘登 (51)Int.Cl. G06T 7/73(2017.01) G01B 11/00(2006.01) G01C 21/00(2006.01) G06N 3/08(2006.01) (54)发明名称 一种载货工具位姿检测方法、 装置、 搬运车 辆及介质 (57)摘要 本发明公开了一种载货工具位姿检测方法、 装置、 搬运车辆及介质， 所述方法包括： 获取数据 采集装置采集的载货工具点云数据， 并将载货工 具点云数据转换为二值化图像； 将二值化图像输 入至检测模 型， 得到至少一个载货工具的角点坐 标； 基于角点坐标， 确定至少一个载货工具对应 的感兴趣区域； 根据载货工具的感兴趣区域的坐 标数据、 载货工具特征参数以及数据采集装置与 搬运车辆 执行机构的坐标转换关系， 确定载货工 具的位姿信息。 该方法通过将载货工具点云数据 转换为二值化图像， 并将二值化图像输入至基于 训练预设神经网络得到检测模型中， 提高了复杂 环境下载货工具角点坐标确定的准确性， 进而实 现了在复杂环境下均能很好的进行载货工具位 姿的检测。 权利要求书2页 说明书14页 附图6页 CN 114387344 A 2022.04.22 CN 114387344 A 1.一种载货工具位姿检测方法， 应用于搬运车辆， 所述搬运车辆包括数据采集装置和 搬运车辆执 行机构， 其特 征在于， 所述方法包括： 获取所述数据采集装置采集的载货工具点云数据， 并将所述载货工具点云数据转换为 二值化图像； 将所述二值化图像输入至检测模型， 得到至少一个载货工具的角点坐标， 所述检测模 型是通过载货 工具点云数据集对应的二值化图像集训练预设神经网络得到的， 所述载货工 具点云数据集包括 不同光照环境、 不同方位的若干个载货工具点云数据； 基于所述角点 坐标， 确定所述至少一个载货工具对应的感兴趣区域； 根据所述载货工具的感兴趣区域的坐标数据、 载货工具特征参数以及所述数据采集装 置与所述搬运车辆执行机构的坐标转换关系， 确定所述载货工具相对于所述搬运车辆执行 机构的位姿信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述方法还包括： 对所述二值化图像集对 应的二值化图像进行图像增强处 理。 3.根据权利要求1所述的方法， 其特征在于， 所述数据采集装置包括TOF相机或激光雷 达。 4.根据权利要求1所述的方法， 其特征在于， 基于所述角点坐标， 确定所述至少一个载 货工具对应的感兴趣区域， 包括： 将所述角点 坐标对应的角点像素坐标转换为角点 点云坐标； 基于所述角点点云坐标， 确定所述至少一个载货工具的感兴趣区域， 其中， 每个所述载 货工具的感兴趣区域 为对应的所述角点 点云坐标 所形成的区域。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述载货工具的感兴趣区域的坐 标数据、 载货 工具特征参数以及所述数据采集装置与所述搬运车辆执行机构的坐标转换关 系， 确定所述载货工具相对于所述搬运车辆执 行机构的位姿信息， 包括： 根据所述载货工具特征参数和所述载货工具的感兴趣区域的坐标数据， 确定所述载货 工具的中心点 坐标和偏航角信息； 根据所述中心点坐标和所述偏航角信 息， 确定所述载货工具相对于所述数据采集装置 的位姿信息； 根据所述载货工具相对于所述数据采集装置的位姿信息和所述数据采集装置与所述 搬运车辆执行机构的坐标转换关系， 确定所述载货 工具相对于所述搬运车辆执行机构的位 姿信息。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述载货工具特征参数和所述载 货工具的感兴趣区域的坐标 数据， 确定所述载货工具的中心点 坐标和偏航角信息， 包括： 根据所述载货工具 特征参数， 确定所述载货工具的至少两个端点； 根据所述载货工具的至少两个端点对应的三维点云坐标， 确定所述载货工具的中心点 坐标； 将所述载货工具的感兴趣区域的坐标 数据投影到所述载货工具的位姿检测平面； 随机采样所述 位姿检测平面中的坐标点， 得到待检测点 集； 对所述待检测点 集进行线性拟合， 确定所述载货工具的偏航角信息 。 7.根据权利要求1所述的方法， 其特 征在于， 还 包括：权　利　要　求　书 1/2 页 2 CN 114387344 A 2将所述载货工具相对于所述搬运车辆执 行机构的位姿信息上传至服 务器。 8.根据权利要求1所述的方法， 其特征在于， 将所述二值化图像输入至检测模型， 得到 至少一个载货工具的角点 坐标， 包括： 将所述二值化图像输入至检测模型， 得到 至少一组角点 坐标； 从所述至少一组角点坐标中选取自信度大于设定阈值的角点坐标确定为至少一个载 货工具的角点 坐标。 9.一种载货工具位姿检测装置， 其特征在于， 配置于搬运车辆， 所述搬运车辆包括数据 采集装置和搬运车辆执 行机构， 其特 征在于， 所述装置包括： 获取模块， 用于获取所述数据采集装置采集的载货工具点云数据， 并将所述载货工具 点云数据转换为 二值化图像； 输入模块， 用于将所述二值化图像输入至检测模型， 得到至少一个载货工具的角点坐 标， 所述检测模型是通过载货 工具点云数据集对应的二值化图像集训练预设神经网络得到 的， 所述载货工具点云数据集包括 不同光照环境、 不同方位的若干个载货工具点云数据； 感兴趣区域确定模块， 用于基于所述角点坐标， 确定所述至少一个载货工具对应的感 兴趣区域； 位姿信息确定模块， 用于根据所述载货工具的感兴趣区域的坐标数据、 载货工具特征 参数以及所述数据采集装置与所述搬运车辆执行机构的坐标转换关系， 确定所述载货 工具 相对于所述搬运车辆执 行机构的位姿信息 。 10.一种搬运车辆， 其特 征在于， 包括： 搬运车辆主体； 数据采集装置， 安装在所述搬运车辆主体上； 搬运车辆执 行机构， 安装在所述搬运车辆主体上； 控制器， 与所述数据采集装置和所述搬运车辆执 行机构通信连接， 所述控制器包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑8中任一所述的方法。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1 ‑8中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114387344 A 3