(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111669013.4 (22)申请日 2021.12.31 (71)申请人 江南大学 地址 214122 江苏省无锡市滨湖区蠡湖大 道1800号 (72)发明人 方伟　朱振豪　陆恒杨　孙俊　 吴小俊　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 代理人 张勇 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06F 16/55(2019.01) G06N 3/00(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种针对图像分类的神经网络结构低成本 自动搜索方法 (57)摘要 本发明公开了本发明涉及一种针对图像分 类的神经网络结构低成本自动搜索方法， 属于图 像分类技术领域。 该方法通过设计一种基于分组 卷积的网络block， 以该block作为基础单元构建 一种可扩展的网络结构， block的可控参数化设 置使得构建的网络结构的搜索空间可扩展。 再结 合改进的遗传算法， 通过一个三阶段的自然选择 策略， 更好地激发搜索空间的探索性和开发性。 同时引入非训练指标NTK的条件数量作为个体适 应度， 以极快速度搜索到高精度且低参数量的网 络结构， 从而在解决实际问题时实现了使用较少 的计算资源来快速搜索出综合性能优越的网路 结构， 针对图像分类任务， 通过实验证明采用该 方法搜索出的网路结构进行分类的精度较高。 权利要求书2页 说明书13页 附图5页 CN 114299344 A 2022.04.08 CN 114299344 A 1.一种针对图像分类的神经网络结构低成本自动搜索方法， 其特征在于， 所述方法包 括： 步骤一： 针对图像分类任务， 确定神经网络结构的主体框架， 随机生成X个网络结构作 为种群P， 种群中每个个体代表一个随机生成的网络结构； 其中神经网络结构的主体框架包 括一个标准卷积层、 unit  num个Reg  Unit模块和一个全局平均池化层， 每个Reg  Unit模块 包括block  num个组卷积Reg  Block； 且每个Reg  Unit模块以50％的概率包含SENet模块， SENet模块 通过Sque eze‑and‑Excitati on来模拟注意力机制； Reg Unit模块的个数unit  num、 组卷积Reg  Block的个数block  num以及组卷积Reg   Block的分支数group、 每 个分支中第二层卷积层的宽度w idth随机生成； 步骤二： 设定后续种群进化阶段三阶段分隔点S1， S2和进化的最大代数Max_gen； 步骤三： 计算种群P中每 个个体的网络结构的NTK的条件数 KN作为个体的适应度； 步骤四： 种群进入进化， 使用锦标赛选择选择个体变异操作生成新的网络结构个体， 根 据当前进化的代数G所属阶段选择不同的指标进行环境选择来淘汰个 体； 步骤五： 达到进化的最大代数Max_gen后选 择个体的适应度KN值最小的网络 结构作为搜 索出的用于图像分类任务的神经网络结构。 2.根据权利要求1所述的方法， 其特征在于， 每个网络结构中的组卷积Reg  Block包含 group个分支， 每个分支由三个卷积层和一个池化层组成， 其中池化层 处于第三层； 第一层 和第四层卷积层使用1 ×1核来调整特征图的数量， 第二层卷积层使用3 ×3核来提取特征 图， 所有卷积层都遵循卷积操作、 ReLu激活函数和批量归一化层的顺序； 第三层的池化层用 于将输入数据的大小减半； 所述输入数据为图像数据。 3.根据权利 要求2所述的方法， 其特征在于， 对于M ×M的输入数据， 组卷积Reg  Block每 个分支中第三层的池化层数量 不能大于 4.根据权利要求3所述的方法， 其特征在于， 所述步骤四中根据当前进化的代数G所属 阶段选择不同的指标进行环境选择来淘汰个 体， 包括： 在第一阶段和第三阶段， 即当0<G≤S1和S2<G≤Max_gen时， 选择个体的适应度KN作为标 准来淘汰个 体； 在第二阶段， 即当S1<G≤S2时， 选择个体的寿命作为标准来淘汰个体， 个体的寿命为个 体经历的进化代次。 5.根据权利要求 4所述的方法， 其特 征在于， 种群进化过程包括： 从种群中随机选择k个个体； 从这k个个体中， 根据每个个体的适应度KN值的大小， 选择 前t个最佳适应度的个 体作为父代个 体； t个父代个体通过一组变异算子来生成t个后代个体； 后代个体生成后进行评估 并添加 到现有种群中； 根据当前进化代数所属的阶段， 在环境选择中使用相应的标准淘汰个体； 根据当前的 标准淘汰t个最差的个体， 使得种群保持规模不变， 剩余的个体构建新的种群， 进入下一代 进化。 6.根据权利要求5所述的方法， 其特征在于， 所述t个父代个体通过一组变异算子来生 成t个后代个 体； 后代个 体生成后进行评估并添加到现有种群中， 包括： 在父代个体的长度内随机选择一个变异位置posij， 它代表第i个Reg  Unit中第j个Reg  权　利　要　求　书 1/2 页 2 CN 114299344 A 2Block的位置， 位置由Reg  Unit在网络结构中的顺序和Reg  Block在Reg  Unit中的位置顺序 决定； 随机选择一种变异算子来执行父代个体的变异， 所述变异算子包括添加算子、 移除算 子和改变算子； 添加算子： 在变异位置posij添加一个随机参数设置的Reg  Block； 移除算子： 移除在变异位置posij上的Reg Block； 改变算子： 随机改变 变异位置posij上的Reg Block的参数。 7.根据权利要求6所述的方法， 其特征在于， 在实现添加算子时， 若父代个体的长度达 到上限， 则无法实现添加算子， 只能选择移除算子或改变算子； 在实现移除算子时， 当父代个体的长度达到下限时， 则无法进行移除算子的操作， 只能 选择添加算子或改变算子 。 8.一种图像分类方法， 其特征在于， 所述方法采用权利要求1 ‑7任一所述的方法搜索出 的神经网络结构进行图像分类。 9.根据权利要求8所述的方法， 其特 征在于， 所述方法包括： 将待分类的图像输入神经网络结构中， 通过 标准卷积层提取待分类的图像的特 征； 通过unit  num个Reg  Unit模块进行进一步的特征提取， 其中每个Reg  Unit模块中 的每 个组卷积Reg  Block的输出由每个分支的输出特征和残差连接进行联结， 再以50％的概率 通过SENet模块得到特征图， 进而通过全局平均池化层将Reg  Units输出的特征图展平 为特 征向量， 最后通过设置一个带有softmax层的全连接层作为分类器， 将特征向量转化为最终 的分类结果。权　利　要　求　书 2/2 页 3 CN 114299344 A 3