(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111682743.8 (22)申请日 2021.12.31 (71)申请人 广西慧云信息技 术有限公司 地址 530000 广西壮 族自治区南宁市高新 区创新路23号9号楼三层 (72)发明人 苏家仪　韦光亮　王筱东　朱燕红　 陈华　韦日彤　 (74)专利代理 机构 南宁东之智专利代理有限公 司 45128 专利代理师 汪治兴 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 20/68(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种柑橘斑点状病虫害细粒度图像识别方 法 (57)摘要 本发明属于涉及病虫害识别领域， 特别涉及 一种柑橘斑点状病虫害细粒度图像识别方法， 针 对斑点状病虫害特征过于分散的特点， 利用视觉 Transformer替代卷积神经网络， 增加模型对长 距离特征的感知能力， 持续维持特征的空间关 系； 针对斑点状病虫害单个斑点目标尺寸较小的 特点， 利用自编码器学习生成原始图像的方式， 提高细节特征的学习能力； 针对不同斑点状病虫 害类别特征相似的特点， 利用中心损失进行监 督， 促使相同类别的特征聚集在类别特征中心附 近， 不同类别的类别特征中心彼此远离， 提升不 同斑点状病虫害类别特 征之间的可区分性。 权利要求书3页 说明书7页 附图1页 CN 114511732 A 2022.05.17 CN 114511732 A 1.一种柑橘斑点状病虫害细粒度图像识别方法， 其特 征在于： 包括以下步骤： 步骤S1， 制作数据集： 收集柑橘斑点状病虫害图片， 并根据斑点状病虫害类别 对图片进 行分类标注得到数据集， 将数据集中所有标注好的图片按一定比例划分为训练集、 验证集 与测试集； 所述斑点状病虫害类别数为K； 步骤S2， 构建细粒度分类网络模型： 所述细粒度分类网络模型包括图像重建模型与图 像分类模型； 所述图像重建模型用于将随机抽样的图像样本分块恢复为原始图像； 所述图 像分类模型用于对原 始图像根据斑点状病虫害类别进行分类； 步骤S3， 构建损失函数： 损失函数包括图像重建模型的均方差损失函数、 图像分类模型 的交叉熵损失函数与中心损失函数， 所述均方差损失函数用于对比重 建图像与输入图像的 差距， 所述交叉熵损失函数用于计算图像分类的损失， 所述中心损失函数用于提升不同斑 点状病虫害类别特 征之间的可区分性； 步骤S4， 图像重建模型训练： 将步骤S1中的训练集输入至图像重建模型进行训练， 采用 步骤S3中的均方差损失函数进 行监督训练， 设置图像重 建模型的学习率为a， 每一轮训练结 束输出一个中间图像重建模型； 步骤S5， 图像重建模型验证： 将步骤S1中的验证集输入到步骤S4训练得到的中间图像 重建模型进行模型验证， 当验证集的均方差损失函数不再下降时将该中间图像重建模型作 为最佳的图像重建模型， 得到图像重建模型的编码器、 嵌入层参数； 步骤S6， 图像分类模型训练： 将步骤S5中最佳的图像重建模型中的编码器、 嵌入层参数 作为图像分类模型训练的基准模 型参数， 将步骤S1 中的训练集输入至图像分类模型进行训 练， 采用步骤S3中的交叉熵损失函数与中心损失函数进行监督训练， 设置图像分类模型 的 学习率为b， 每一轮训练结束输出一个中间图像分类模型； 步骤S7， 图像分类模型验证： 将步骤S1中的验证集输入到步骤S6中训练得到的中间图 像分类模型进行模型验证， 将准确率 最高的中间图像分类模型作为 最佳的图像分类模型； 步骤S8， 模型推理： 将步骤S1中的测试集输入至步骤S7中最佳的图像分类模型进行推 理， 得到病虫害分类结果。 2.根据权利要求1所述的一种柑橘斑点状病虫害细粒度图像识别方法， 其特征在于： 所 述步骤S1中将数据集中所有标注好的图片按0.8： 0.1： 0.1的比例划分为训练集、 验证集与 测试集。 3.根据权利要求1所述的一种柑橘斑点状病虫害细粒度图像识别方法， 其特征在于： 所 述图像重建模型包括第一图像分块单元、 第一分块选择单元、 第一编码器、 第一嵌入层单 元、 解码器、 重建图像单元； 所述第一图像分块单元、 第一分块选择单元、 第一编码器、 第一 嵌入层单 元、 解码器、 重建图像单 元依次连接 。 4.根据权利要求3所述的一种柑橘斑点状病虫害细粒度图像识别方法， 其特征在于： 所 述步骤S2中图像重建模型将随机抽样的图像样本分块恢复为原 始图像的步骤如下： 步骤S21， 图像分块： 第一图像分块单元将输入的第b张图像进行缩放， 得到缩放后的第 b张图像xb， 缩放后的第b张图像 B表示每次迭代的批次数量； 对缩放后的第b张图像xb进行有重叠地滑窗， 得到N个图像分块， N个图像分块组成第b张图 像的分块向量 其中H、 W、 C分别表示缩放后的图片高度、 图片宽度和通道权　利　要　求　书 1/3 页 2 CN 114511732 A 2数； 其中图像分块的数量 N的计算方式如下： 其中， P表示分块尺寸， S表示滑窗步长； 步骤S22： 图像分块选择： 第一分块选择单元对第一图像分块单元得到的第b张图像的 分块向量 进行图像分块选择， 具体是设置分块选择占比R， 从第b张图像的分块向量 中 随 机 采 样R占 比 的图 像分 块 作为 第一 编码器的 第 b张 输 入图 像的 分 块向 量 其中 表示对N*R向下 取整； 步骤S23， 编码： 采用Transformer网络模型对图像分块向量 进行编码， 得到维度为 的第一编码器输出的第b张图像的特 征向量 步骤S24， 嵌入： 将第一编码器输出的第b张图像的特征向量 输入至维度为 的全连接层中， F为 嵌入层的输出维度， 得到第一 嵌入层单元输出的第b张图像 的特征向量 步骤S25， 解码： 解码器采用Transformer网络模型对第一嵌入层 单元输出的第b张图像 的特征向量 进行解码， 将解码器最后一层输入维度为D ×(H*W*C)的全连接层， 得到输出 维度为H*W*C的解码器输出的第b张图像的特 征向量 步骤S26， 重建图像： 重建图像单元对解码器输出的第b张图像的特征向量 按H×W×C 维度进行reshape操作， 得到第b张图像的维度为H ×W×C的重建图像。 5.根据权利要求4所述的一种柑橘斑点状病虫害细粒度图像识别方法， 其特征在于： 所 述图像分类模型包括第二图像分块单元、 第二分块选择单元、 第二编码器、 第二嵌入层单 元、 分类层单元； 所述第二图像分块单元、 第二分块选择单元、 第二编码器、 第二嵌入层单 元、 分类层单元依次连接； 所述第二图像 分块单元复用第一图像 分块单元的参数； 所述第二 分块选择单元复用第一分块选择单元 的参数； 所述第二编码器复用第一编码器的参数； 所 述第二嵌入层单元复用第一 嵌入层单元的参数； 所述分类层的维度为步骤S1中的斑点状病 虫害类别数。 6.根据权利要求4所述的一种柑橘斑点状病虫害细粒度图像识别方法， 其特征在于： 所 述步骤S3中的均方差损失函数如下 所示： 其中， 表示图像重建模型中输入的第b图像的第i个像素点的像素值， 表示图像重 建模型输出的第b图像的重建图像的第i个 像素点的像素值。 7.根据权利要求1所述的一种柑橘斑点状病虫害细粒度图像识别方法， 其特征在于： 所 述交叉熵损失函数如下 所示：权　利　要　求　书 2/3 页 3 CN 114511732 A 3