(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111673248.0 (22)申请日 2021.12.31 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 汤健　王子轩　张晓晓　荆中岭　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 刘萍 (51)Int.Cl. G06V 30/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 30/10(2022.01) G06V 10/764(2022.01) (54)发明名称 基于异构多模型的废旧电子产品品牌识别 方法 (57)摘要 本文提出基于异构多模型的废旧电子产品 识别方法， 针对受限于相关数据集的稀少， 识别 方法精度难以达到实际工业需求的问题。 利用 CTAFT算法提取电子产品背部字符区域， 利用 ImageNet预训练的VGG19模型作为图像 特征嵌入 模型， 提取待回收电子产品字符部分和整体特 征； 针对字符部分特征构建OCR字符识别模型， 得 到OCR子模型识别结果， 针对字符和整体特征构 建深度森 林分类模型， 得到深度森 林子模型识别 结果； 将OCR识别结果和深度森林分类向量线性 组合， 使用softmax非线性函数得到类别权重向 量， 将权重最高的结果作为电子产品品牌识别结 果。 基于废旧电子产品回收装备拍摄的真实手机 与平板图像验证 了有效性。 权利要求书4页 说明书8页 附图7页 CN 114708593 A 2022.07.05 CN 114708593 A 1.基于异构多模型的废旧电子产品识别方法， 其特征在于， 包括： 图像预处理模块、 多 元特征提取模块、 异构多模型识别模块共3个部分； 出现变量含义如表1所示； 表1变量含义表 权　利　要　求　书 1/4 页 2 CN 114708593 A 2图像预处理模块的输入为 数据增强预处理输出为Ximg， 使用CRAFT字符级目标检 测算法的字符预处 理输出为Xdigit； 多元特征提取模块使用基于ImageNet预训练的VGG19网络获取字符特征与整体背部图 像像素特征在高维空间的表示， 该模块的输入为Ximg和Xdigit， 输出分别为 和 异构多模型识别模块包括含OCR字符识别子模块、 深度森林电子产品识别子模块和 softmax非线性输出层子模块共3部分， 其中： OCR子模块输入为 输出为 深度森林子模块输入为 输出为 softmax非线性 输出层子模块将分类子模块输出结果进行 映射， 获得 得分最高的标签 即为最终输出 图像预处 理模块包括数据增强预处 理和字符增强预处 理； 字符增强预处理选取电子产品背部图像中的字符特征作为分类依据之一， 采用CRAFT 字符级图像定位算法确定电子产品字符位置并分割， 将字符特征与整体图片线性拼接， 作 为后续模型输入； 对于人工数据集， 数据集包含图中单个字符的高斯热度图， CRAFT算法对本部分进行有 监督训练； 对于电子产品背部图像数据集， 首先标记电子产品图像中的文本框区域， 将其经 过透视变换拉伸到比较正的文本框； 接着利用分水岭算法得到单个字符的位置框， 生成对 应的高斯热度图， 变换后重新贴回原图对应的标签图的相应的位置； 计算分水岭算法分割 结果评分公式如下 所示：权　利　要　求　书 2/4 页 3 CN 114708593 A 3