(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111676417.6 (22)申请日 2021.12.31 (71)申请人 浪潮 （北京） 电子信息产业有限公司 地址 100085 北京市海淀区上地信息路2号 2-1号C栋1层 (72)发明人 温东超　赵雅倩　史宏志　崔星辰　 葛沅　赵健　张英杰　尹云峰　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 刘源 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种神经网络架构 搜索方法、 装置及电子设 备和存储介质 (57)摘要 本申请公开了一种神经网络架构 搜索方法、 装置及一种电子设备和计算机 可读存储介质， 该 方法包括： 获取图像分类任务的数据集； 其中， 数 据集包含图像和对应的类别标签； 构建图像分类 任务的神经网络； 其中， 神经网络包括依次连接 的多个结构单元， 每个结构单元包括待搜索结构 单元和梯度传输单元， 待搜索结构单元包括多个 内部节点， 梯度传输单元包括跳转连接操作或1 ×1的卷积操作； 定义待搜索结构单元中内部节 点之间的操作集合； 其中， 操作集合不包含跳转 连接； 利用数据集搜索每个结构单元中待搜索结 构单元的每两个内部节点之间的最佳操作， 并确 定梯度传输单元的结构。 本申请提高了搜索到的 图像分类的神经网络的最佳架构精度。 权利要求书2页 说明书10页 附图4页 CN 114219964 A 2022.03.22 CN 114219964 A 1.一种神经网络架构搜索方法， 其特 征在于， 包括： 获取图像分类任务的数据集； 其中， 所述数据集包 含图像和对应的类别标签； 构建图像分类任务的神经网络； 其中， 所述神经网络包括依次连接的多个结构单元， 每 个所述结构单元包括待搜索结构单元和梯度传输单元， 所述待搜索结构单元包括多个内部 节点， 所述梯度传输单 元包括跳转连接操作或1 ×1的卷积操作； 定义所述待搜索结构单元中内部节点之间的操作集合； 其中， 所述操作集合不包含跳 转连接； 利用所述数据集搜索每个所述结构单元中待搜索结构单元的每两个内部节点之间的 最佳操作， 并确定所述梯度传输单 元的结构。 2.根据权利要求1所述神经网络架构搜索方法， 其特征在于， 所述待搜索结构单元的输 出为所述待搜索结构单 元中所有内部节点的可分离拼接 。 3.根据权利要求1所述神经网络架构搜索方法， 其特征在于， 所述确定所述梯度传输单 元的结构， 包括： 若输入所述结构单元的特征图的维度与所述结构单元中待搜索结构单元输出的特征 图的维度相同， 则所述结构单 元中梯度传输单 元具体为跳转连接； 若输入所述结构单元的特征图的维度与所述结构单元中待搜索结构单元输出的特征 图的维度不同， 则所述结构单 元中梯度传输单 元具体为1×1的卷积操作。 4.根据权利要求2所述神经网络架构搜索方法， 其特征在于， 所述结构单元的输出为所 述结构单 元中待搜索结构单 元的输出和梯度传输单 元的输出之和。 5.根据权利要求1所述神经网络架构搜索方法， 其特征在于， 所述神经网络中第 和 个结构单元为降分辨率结构单元， N为所述神经网络中结构单元的数 量， 所述降分辨 率结构单 元的步幅为2， 其 余结构单 元的步幅为1。 6.根据权利要求1所述神经网络架构搜索方法， 其特征在于， 所述数据集包括训练集和 验证集； 利用所述数据集搜索每个所述结构单元中待搜索结构单元的每两个内部节点之间 的最佳操作， 包括： 利用所述训练集确定所述操作集 合中每个操作的权 重参数； 利用所述验证集确定每个所述结构单元中待搜索结构单元的每两个内部节点之间每 个操作对应的架构参数； 将每两个内部节点之间架构参数最大的操作确定为 最佳操作。 7.根据权利要求6所述神经网络架构搜索方法， 其特征在于， 所述利用所述验证集确定 每个所述结构单元中待搜索结构单元的每两个内部节点之 间每个操作对应的架构参数， 包 括： 将所述验证集的图像输入所述神经网络 中， 利用架构损失函数基于所述神经网络的输 出和所述图像对应的类别标签计算每个所述结构单元中待搜索结构单元的每两个内部节 点之间每个操作对应的架构损失， 并基于所述架构损失计算每个所述结构单元中待搜索结 构单元的每两个内部节点之 间每个操作对应的架构损失梯度， 基于所述架构损失梯度更新 每个所述结构单 元中待搜索结构单 元的每两个内部节点之间每 个操作对应的架构参数； 其中， 所述架构损失函数为： 权　利　要　求　书 1/2 页 2 CN 114219964 A 2其中， ω*( α )为在训练集合上得到的最优权重参数， α 为架构参数集合， Lval()为在验证 集合上的损失值， ω0‑1为预定义的超参数， M为神经网络中全部待搜索结构单元中的全部待 搜 索连 接 总数 ， 定义 包 含 待搜 索操 作的 两个内 部 节点为 一 个 待搜 索连 接 ， N为第m个待搜索连接的操作总数， σ()为softmax函 数， αn为第m个待搜索连接 的第n个操作的架构参数， O为操作 集合， oi， j和o′i， j为中间节点 i与中间节点j之间的操作的输出。 8.一种神经网络架构搜索装置， 其特 征在于， 包括： 获取模块， 用于获取图像分类任务的数据集； 其中， 所述数据集包含图像和对应的类别 标签； 构建模块， 用于构建图像分类任务的神经网络； 其中， 所述神经网络包括依次连接的多 个结构单元， 每个所述结构单元包括待搜索结构单元和梯度传输单元， 所述待搜索结构单 元包括多个内部节点， 所述梯度传输单 元包括跳转连接操作或1 ×1的卷积操作； 定义模块， 用于定义所述待搜索结构单元中内部节点之间的操作集合； 其中， 所述操作 集合不包含跳转连接； 搜索模块， 用于利用所述数据集搜索每个所述结构单元中待搜索结构单元的每两个 内 部节点之间的最佳操作， 并确定所述梯度传输单 元的结构。 9.一种电子设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至7任一项所述神经网络架构搜 索方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述神经网络架构 搜索 方法的步骤。权　利　要　求　书 2/2 页 3 CN 114219964 A 3