(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677231.2 (22)申请日 2021.12.31 (71)申请人 苏州浪潮智能科技有限公司 地址 215000 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 王申领　罗建刚　 (74)专利代理 机构 北京连和连知识产权代理有 限公司 1 1278 专利代理师 黄艳南　张元 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06F 9/50(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种图像识别推理方法、 系统、 存储介质及 设备 (57)摘要 本发明提供了一种图像识别推理方法、 系 统、 存储介质及设备， 方法包括： 将神经网络中经 卷积层计算得到的图片数据和权重数据存放至 全局内存， 并在全局内存中对图片数据和权重数 据分别进行拆 分处理， 以得到单位图片数据和单 位权重数据； 由全局内存将单位图片数据和单位 权重数据加载至共享内存中， 并在共享内存中对 单位图片数据进行平均池化计算， 以得到池化图 片数据； 在共享内存中对池化图片数据与单位权 重数据进行全连接计算， 以得到全连接数据； 由 共享内存将全 连接数据写回至全局内存， 以基于 全局内存中的全 连接数据进行图像识别的推理。 本发明减少了数据往返于全局 内存和共享内存 导致的通信延 迟， 加快了神经网络在图像识别推 理方面的计算速度。 权利要求书2页 说明书9页 附图2页 CN 114445687 A 2022.05.06 CN 114445687 A 1.一种图像识别推理方法， 其特 征在于， 包括以下步骤： 将神经网络 中经卷积层计算得到的图片数据和权重数据存放至全局内存， 并在所述全 局内存中对所述图片数据和权重数据分别进 行拆分处理， 以得到单位图片数据和单位权重 数据； 由所述全局内存将所述单位图片数据和单位权重数据加载至共享内存中， 并在所述共 享内存中对所述单位图片数据进行平均池化计算， 以得到池化图片数据； 在所述共享内存中对所述池化图片数据与 所述单位权重数据进行全连接计算， 以得到 全连接数据； 由所述共享内存将所述全连接数据写回至所述全局内存， 以基于所述全局内存中的所 述全连接数据进行图像识别的推理。 2.根据权利要求1所述的方法， 其特征在于， 在所述全局内存中对所述图片数据和权重 数据分别进行拆分处 理， 以得到单位图片数据和单位权 重数据包括： 在所述全局内存中对所述图片数据和权重数据分别进行分块处理， 以得到每个块对应 的待进行循环处 理的块图片数据和块权 重数据； 对所述块图片数据和块权重数据分别进行细 分处理， 以得到循环 处理过程中单次待处 理的单位图片数据和单位权 重数据。 3.根据权利要求2所述的方法， 其特征在于， 在所述全局内存中对所述图片数据和权重 数据分别进行分块处理， 以得到每个块对应的待进行循环处理的块图片数据和块权重数据 包括： 根据所述图片数据中的图片数量为每个块划分待进行循环 处理的块图片数量， 并根据 所述权重数据中的输出通道数量 为所述每 个块划分待 进行循环处 理的块通道数量； 基于所述 块图片数量和所述 块通道数量分别得到所述 块图片数据和所述 块权重数据。 4.根据权利要求3所述的方法， 其特征在于， 对所述块图片数据和块权重数据分别进行 细分处理， 以得到循环处 理过程中单次待处 理的单位图片数据和单位权 重数据包括： 基于所述共享内存的容量限制设置所述每个块在循环处理过程中单次待处理的图片 数量， 以作为单位图片数量； 基于所述单位图片数量和所述块图片数据得到单位图片数据， 并基于所述单位图片数 量和所述 块权重数据得到单位权 重数据。 5.根据权利要求3所述的方法， 其特征在于， 在所述共享内存中对所述单位图片数据进 行平均池化计算， 以得到池化图片数据包括： 基于所述块图片数量和所述单位图片数量得到所述每个块在循环处理过程中的平均 池化操作总数， 并基于所述平均池化操作总数在所述共享内存中对所述单位图片数据进 行 平均池化计算， 以得到池化图片数据。 6.根据权利要求1所述的方法， 其特征在于， 所述图片数据包括图片数量、 图片长度、 图 片宽度及图片的通道数量， 所述权重数据包括长度权重、 宽度权重、 输入通道权重及输出通 道权重。 7.根据权利 要求1所述的方法， 其特征在于， 所述神经网络为Resnet50卷积神经网络模 型。 8.一种图像识别推理系统， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 114445687 A 2拆分处理模块， 配置用于将神经网络 中经卷积层计算得到的图片数据和权重数据存放 至全局内存， 并在所述全局内存中对所述图片数据和权重数据分别进行拆分处理， 以得到 单位图片数据和单位权 重数据； 平均池化计算模块， 配置用于由所述全局内存将所述单位图片数据和单位权重数据加 载至共享内存中， 并在所述共享内存中对所述单位图片数据进行平均池化计算， 以得到池 化图片数据； 全连接计算模块， 配置用于在所述共享内存中对所述池化图片数据与 所述单位权重数 据进行全连接计算， 以得到全连接数据； 以及 图像识别推理模块， 配置用于由所述共享内存将所述全连接数据写回至所述全局内 存， 以基于所述全局内存中的所述全连接数据进行图像识别的推理。 9.一种计算机可读存储介质， 其特征在于， 存储有计算机程序指令， 所述计算机程序指 令被处理器执行时实现如权利要求1 ‑7任意一项所述的方法。 10.一种计算机设备， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机 程序， 所述计算机程序被所述处 理器执行时执行如权利要求1 ‑7任意一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114445687 A 3