(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111663394.5 (22)申请日 2021.12.31 (71)申请人 深圳云天励飞技 术股份有限公司 地址 518000 广东省深圳市龙岗区园山 街 道龙岗大道8288号深圳大运软件小镇 17栋1楼 (72)发明人 陈丹　陈耀沃　陈俊霖　 (74)专利代理 机构 深圳驿航知识产权代理事务 所(普通合伙) 44605 专利代理师 杨伦 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/194(2017.01) G06T 7/593(2017.01) G06T 3/40(2006.01)G06T 17/00(2006.01) G06V 10/56(2022.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 胶囊药品的质量检测方法及相关 设备 (57)摘要 本发明实施例提供一种通过胶囊药品的质 量检测方法， 包括： 获取待检测胶囊的第一深度 图像与第二深度图像， 第一深度图像通过设置在 第一指定位置的第一深度摄像头采集得到， 第二 深度图像通过设置在第二指定位置的第二深度 摄像头采集得到； 获取待检测胶囊的光照图， 光 照图为待检测胶囊在水平一侧或在水平两侧的 光照图； 根据所述第一深度图像与所述第二深度 图像， 构建待检测胶囊的三维图像； 基于三维图 像与光照图， 对待检测胶囊进行质量检测， 以得 到待检测胶囊的质量检测结果。 可以通过不同位 置采集到的深度图像， 对胶囊进行三维构建， 得 到胶囊的三维图像， 并结合胶囊的光照图， 来对 胶囊的质量进行检测， 不需要人工检测， 提高了 胶囊质量检测的效率。 权利要求书2页 说明书11页 附图2页 CN 114445347 A 2022.05.06 CN 114445347 A 1.一种通过胶囊的质量检测方法， 其特 征在于， 包括以下步骤： 获取待检测胶囊的第 一深度图像与第 二深度图像， 所述第 一深度图像通过设置在第 一 指定位置的第一深度摄像头采集得到， 所述第二深度图像通过设置在第二指定位置的第二 深度摄像头采集得到； 获取所述待检测胶囊的光照图， 所述光照图为所述待检测胶囊在水平一侧或在水平两 侧的光照图； 根据所述第一深度图像与所述第二深度图像， 构建所述待检测胶囊的三维图像； 基于所述三维图像与所述光照图， 对所述待检测胶囊进行质量检测， 以得到所述待检 测胶囊的质量检测结果。 2.如权利要求1所述的方法， 其特征在于， 所述根据 所述第一深度图像与所述第 二深度 图像， 构建所述待检测胶囊的三维图像， 包括： 提取所述第 一深度图像的第 一深度信 息和第一色彩信 息， 以及提取所述第 二深度图像 的第二深度信息和第二色彩信息； 根据所述第 一深度信 息和第一色彩信 息对所述第 一深度图像进行背景去除， 得到第 一 胶囊前景， 以及根据所述第二深度信息和第二色彩信息对所述第二深度图像进行背景去 除， 得到第二胶囊前 景； 对所述第一胶囊前景与所述第 二胶囊前景进行三维构建处理， 得到所述待检测胶囊的 三维图像。 3.如权利要求2所述的方法， 其特征在于， 所述提取所述第 一深度图像的第 一深度信 息 和第一色彩信息， 以及提取 所述第二深度图像的第二深度信息和第二色彩信息， 包括： 对所述第一深度图像进行目标检测， 并根据得到的目标检测结果在所述第 一深度图像 中提取出第一候选区域图像， 所述第一 候选区域图像包括所述待检测胶囊； 将所述第一候选区域图像进行尺度变换处理， 得到处理后的第一候选区域图像， 所述 处理后的第一 候选区域图像与所述第一深度图像具有相同的尺寸； 将所述第一候选区域图像与 所述第一深度图像输入到信 息提取模型中进行信 息提取， 得到所述第一深度图像的第一深度信息和第一色彩信息； 对所述第二深度图像进行目标检测， 并根据得到的目标检测结果在所述第 二深度图像 中提取出第二候选区域图像， 所述第二 候选区域图像包括所述待检测胶囊； 将所述第二候选区域图像进行尺度变换处理， 得到处理后的第二候选区域图像， 所述 处理后的第二 候选区域图像与所述第二深度图像具有相同的尺寸； 将所述第二候选区域图像与所述第二深度图像输入到所述信息提取模型中进行信息 提取， 得到所述第二深度图像的第二深度信息和第二色彩信息 。 4.如权利要求3所述的方法， 其特征在于， 所述对所述第 一胶囊前景与 所述第二胶囊前 景进行三维构建处 理， 得到所述待检测胶囊的三维图像， 包括： 根据所述第 一胶囊前景的深度值与 所述第二胶囊前景的深度值来进行三维构建处理， 得到所述待检测胶囊的三维图像。 5.如权利要求4所述的方法， 其特征在于， 在所述根据所述第 一胶囊前景的深度值与 所 述第二胶囊前景的深度值来进 行三维构建处理， 得到所述待检测胶 囊的三维图像的步骤之 前， 所述方法包括：权　利　要　求　书 1/2 页 2 CN 114445347 A 2对所述第一胶囊前 景的深度值与所述第二胶囊前 景的深度值进行修复。 6.如权利要求5所述的方法， 其特征在于， 所述质量检测结果包括外观质量与内部质 量， 所述基于所述三维图像与所述光照图， 对所述待检测胶囊进 行质量检测， 以得到所述待 检测胶囊的质量检测结果， 包括： 通过预设的质量检测模型对所述三维图像与所述光照图进行质量检测， 以得到所述待 检测胶囊的外观质量与内部质量。 7.如权利要求6所述的方法， 其特征在于， 所述质量检测模型包括三维卷积模块、 二维 卷积模块、 融合模块以及解码模块， 所述通过预设的质量检测模型对所述三维 图像与所述 光照图进行质量检测， 以得到所述待检测胶囊的外观质量与内部质量， 包括： 将所述三维图像输入到所述三维卷积模块中进行处理， 得到所述三维图像的第 一中间 特征； 将所述光照图输入到所述二维卷积模块中进行处理， 得到所述二维图像第二中间特 征； 将所述第一中间特征与所述第 二中间特征输入到所述融合模块中进行特征融合， 得到 所述三维图像和所述 光照图的融合特 征； 将所述融合特征输入到所述解码模块中进行解码处理， 得到所述待检测胶囊的外观质 量与内部质量。 8.一种通过胶囊药品的质量检测装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取待检测胶囊的第一深度图像与第二深度图像， 所述第一深度 图像通过设置在第一指 定位置的第一深度摄像头采集得到， 所述第二深度图像通过设置在 第二指定位置的第二深度摄 像头采集得到； 第二获取模块， 用于获取所述待检测胶囊的光照图， 所述光照图为所述待检测胶囊在 水平一侧或在水平两侧的光照图； 构建模块， 与根据所述第一深度图像与所述第二深度图像， 构建所述待检测胶囊的三 维图像； 检测模块， 用于基于所述三维图像与所述光照图， 对所述待检测胶囊进行质量检测， 以 得到所述待检测胶囊的质量检测结果。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1至7中 任一项所述的通过胶囊药品的质量检测方法中的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述的通过胶 囊药品 的质量检测方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114445347 A 3