(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111672476.6 (22)申请日 2021.12.31 (71)申请人 北京旷视科技有限公司 地址 100096 北京市海淀区西三 旗建材城 内建中路12幢一层1268号 申请人 北京迈格威科技有限公司 　 深圳旷视金智科技有限公司 (72)发明人 周子淇　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 代理人 唐正瑜 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像分类方法、 计算机程序产品、 电子设备 及存储介质 (57)摘要 本申请提供一种图像 分类方法、 计算机程序 产品、 电子设备及存储介质， 应用于图像识别领 域， 其中， 图像分类方法采用两个网络分支分别 提取待分类图像的特征， 由于两个网络分支的类 别空间不同， 因此提取得到的特征也不相同。 其 中， 经过第一网络分支提取得到的第一特征为具 有丰富类间关系的高层语义特征， 而经过第二网 络分支提取得到的第二特征为更关注细节和局 部类间关系的高层语义特征； 因此， 结合上述第 一特征以及第二特征确定的待分类图像的类别 具有较高的精度。 权利要求书3页 说明书16页 附图4页 CN 114387469 A 2022.04.22 CN 114387469 A 1.一种图像分类方法， 其特 征在于， 包括： 获取待分类图像； 将所述待分类图像输入分类网络， 得到所述分类网络输出的所述待分类图像的第 一特 征和第二特征； 其中， 所述分类网络包括第一网络 分支和第二网络 分支， 所述第一网络 分支 用于将所述待分类图像的特征映射到第一类别空间得到第一特征， 所述第二网络分支用于 将所述待分类图像的特征映射到第二类别空间得到第二特征， 所述第一类别空间包括的类 别数量大于所述第二类别空间包括的类别数量； 根据所述第一特 征以及所述第二特 征确定所述待分类图像的类别。 2.根据权利要求1所述的图像分类方法， 其特征在于， 所述第 一网络分支以及所述第 二 网络分支包括公用的共享底层卷积模块， 所述第一网络分支还包括全局视图模块， 所述第 二网络分支还 包括局部 视图模块； 所述共享底层卷积模块用于提取 所述待分类图像的基础特 征； 所述全局视图模块用于基于所述基础特 征提取所述第一特 征； 所述局部 视图模块用于基于所述基础特 征提取所述第二特 征。 3.根据权利要求1或2所述的图像分类方法， 其特征在于， 所述根据所述第一特征以及 所述第二特 征确定所述待分类图像的类别， 包括： 将所述第一特 征与所述第二特 征进行融合， 得到第一融合特 征； 根据每个类别包括的第 一参考图像对应的第 二融合特征计算所述类别对应的类中心； 其中， 所述第二融合特征为第一参考特征与第二参考特征融合得到， 所述第一参考特征为 将所述第一参考图像输入所述分类网络后所述第一网络 分支输出的特征， 所述第二参考特 征为将所述第一 参考图像输入所述分类网络后所述第二网络分支输出的特 征； 根据所述第一融合特 征计算所述待分类图像与每 个类中心的距离； 将与所述待分类图像距离最近的类中心所属的类别确定为所述待分类图像的类别。 4.根据权利要求1或2所述的图像分类方法， 其特征在于， 所述根据所述第一特征以及 所述第二特 征确定所述待分类图像的类别， 包括： 分别根据每个类别包括的第 一参考图像的第 一参考特征以及第 二参考特征， 计算所述 类别对应的第一类中心以及第二类中心； 其中， 所述第一参考特征为将所述第一参考图像 输入所述分类网络后所述第一网络 分支输出的特征， 所述第二参考特征为将所述第一参考 图像输入所述分类网络后所述第二网络分支输出的特 征； 分别根据 所述待分类图像的所述第 一特征以及所述第 二特征， 计算所述待分类图像与 每个类别对应的第一类中心的第一距离， 以及与每 个类别对应的第二类中心的第二距离； 将所述第一距离以及所述第 二距离进行累加， 得到所述待分类图像与 所述每个类别的 融合距离； 将所述融合距离最小的类别确定为所述待分类图像的类别。 5.根据权利要求1 ‑4任一项所述的图像分类方法， 其特征在于， 在所述获取待分类图像 之前， 所述方法还 包括： 采用以下 方式训练原 始网络以得到所述分类网络： 获取样本图像； 将所述样本 图像输入所述原始网络， 得到所述原始网络输出的第三特征和第 四特征； 其中， 所述原始网络包括第三网络分支和第四网络分支， 所述第三网络分支用于将所述样权　利　要　求　书 1/3 页 2 CN 114387469 A 2本图像的特征映射到所述第一类别空间得到第三特征， 所述第四网络 分支用于将所述样本 图像的特 征映射到所述第二类别空间得到第四特 征； 根据所述第三特 征计算第一预测损失， 以及根据所述第四特 征计算第二预测损失； 计算表征 所述第三特 征和所述第四特 征中对应特 征的差异的第三预测损失； 根据所述第 一预测损失、 所述第 二预测损失以及所述第 三预测损失更新所述原始网络 的参数。 6.根据权利要求5所述的图像分类方法， 其特征在于， 所述根据 所述第三特征计算第 一 预测损失， 以及根据所述第四特 征计算第二预测损失， 包括： 根据所述第 三特征计算所述样本图像的第 一预测类别， 并根据 所述第一预测类别与 所 述样本图像在所述第一类别空间中对应的真实类别计算所述第一预测损失； 其中， 所述第 一预测类别为所述第一类别空间中的一个 类别； 以及， 根据所述第四特征计算所述样本图像的第 二预测类别， 并根据 所述第二预测类别与 所 述样本图像在所述第二类别空间中对应的真实类别计算所述第二预测损失， 其中所述第二 预测类别为所述第二类别空间中的第一类别。 7.根据权利要求6所述的图像分类方法， 其特征在于， 所述根据 所述第四特征计算所述 样本图像的第二预测类别， 包括： 根据每个类别包括的第二参考图像的第三参考特征， 计算所述类别对应的类中心； 其 中， 所述第三参考特征为将所述第二参考图像输入所述原始网络后所述第四网络分支输出 的特征； 根据所述样本图像的所述第四特 征， 计算所述样本图像与每 个类中心的距离； 根据所述样本图像与每个类中心的距离， 计算所述样本图像的第 二预测类别为所述第 二类别空间中的真实类别的概率； 其中， 所述样本图像的第二预测类别为与所述样本图像 距离最近的类中心所属的类别。 8.根据权利要求7所述的图像分类方法， 其特征在于， 所述第四网络分支包括局部视图 难度自适应增强模块； 所述根据所述样本 图像的所述第 四特征， 计算所述样本 图像与每个类中心 的距离， 包 括： 利用所述局部视图难度自适应增强模块计算所述样本图像与所述样本图像的真实类 别对应的类中心的推远距离， 以及， 计算所述样本图像与所述样本图像的其他类别对应的 类中心的实际距离； 其中， 所述推远距离大于所述样本图像与所述样本图像的真实类别对 应的类中心的实际距离， 所述其他类别为所述第二类别空间中除所述样本图像的真实类别 外的类别。 9.根据权利要求8所述的图像分类方法， 其特征在于， 所述计算所述样本图像与所述样 本图像的真实类别对应的类中心的推 远距离， 包括： 计算所述样本图像与所述样本图像的真实类别对应的类中心的实际距离以及所述样 本图像与所述样本图像的真实类别对应的类中心的增量距离； 在所述样本图像与所述样本图像的真实类别对应的类中心的实际距离上叠加所述增 量距离， 得到所述推 远距离。 10.根据权利要求9所述的图像分类方法， 其特征在于， 所述计算所述样本图像与所述权　利　要　求　书 2/3 页 3 CN 114387469 A 3