(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111667747.9 (22)申请日 2021.12.3 0 (71)申请人 山东师范大学 地址 250014 山东省济南市历下区文化 东 路88号 (72)发明人 郑元杰　王晓辰　吴婕　丁艳辉　 隋晓丹　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫圣娟 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G16H 70/60(2018.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 基于注意力机制的视网膜静脉阻塞炫彩图 像分类系统 (57)摘要 本发明公开一种基于注意力机制的视网膜 静脉阻塞炫 彩图像分类系统， 包括： 获取模块， 被 配置为获取视网膜炫彩图像； 训练模块， 被配置 为对视网膜炫 彩图像进行特征提取， 对提取的不 同分支的图像特征基于注意力机制进行全局和 局部的特征融合， 根据融合特征对分类模型进行 训练； 分类模块， 被配置为对待分类视网膜炫彩 图像根据训练后的分类模型得到视网膜静脉阻 塞的病理分类结果。 将多尺度图像特征作为分类 依据， 引入注 意力机制充分融合多尺度下的全局 和局部特征， 提高视网膜静脉阻塞炫 彩图像分类 准确率。 权利要求书2页 说明书5页 附图3页 CN 114581366 A 2022.06.03 CN 114581366 A 1.基于注意力机制的视网膜静脉阻塞图像分类系统， 其特 征在于， 包括： 获取模块， 被 配置为获取视网膜炫彩图像； 训练模块， 被配置为对视网膜炫彩图像进行特征提取， 对提取的不同分支 的图像特征 基于注意力机制进行全局 和局部的特 征融合， 根据融合特 征对分类模型进行训练； 分类模块， 被配置为对待分类视网膜炫彩图像根据训练后的分类模型得到视网膜静脉 阻塞的病理分类结果。 2.如权利要求1所述的基于注意力 机制的视网膜静脉阻塞图像分类系统， 其特征在于， 所述分类系统还包括预处理模块， 用于对视网膜炫彩图像进行裁剪、 图像增强和尺度调整 的预处理。 3.如权利要求2所述的基于注意力 机制的视网膜静脉阻塞图像分类系统， 其特征在于， 所述预处 理模块包括： 裁剪模块， 用于对视网膜炫彩图像进行边 缘背景的裁 剪； 图像增强模块， 用于对裁剪后的视网膜炫彩图像进行图像增强处理， 包括旋转、 翻转、 平移、 锐化、 增 加噪声和 增加对比度的操作； 尺度调整模块， 用于对图像增强后的视网膜炫彩图像进行尺度调整处理， 以满足分类 模型的输入要求。 4.如权利要求1所述的基于注意力 机制的视网膜静脉阻塞图像分类系统， 其特征在于， 所述获取模块获取四种模态的视网膜炫 彩图像， 具体包括： 488nm的蓝光反射图像、 515nm的 绿光反射图像、 820nm的红外光反射图像以及标准炫彩图像。 5.如权利要求1所述的基于注意力 机制的视网膜静脉阻塞图像分类系统， 其特征在于， 所述分类模型包括特征提取网络， 所述特征提取网络采用多层卷积神经网络对多种模态的 视网膜炫彩图像进行 特征提取。 6.如权利要求1所述的基于注意力 机制的视网膜静脉阻塞图像分类系统， 其特征在于， 所述分类模型包括特征融合网络， 特征融合网络引入注意力机制， 通过捕获上下文远距离 信息， 对不同分支的图像特 征进行全局 和局部的特 征融合。 7.如权利要求1所述的基于注意力 机制的视网膜静脉阻塞图像分类系统， 其特征在于， 所述分类模型包括分类网络， 所述分类网络采用改进的全连接层 网络， 用于对视网膜静炫 彩图像进行视网膜静脉阻塞的病理分类。 8.如权利要求7所述的基于注意力 机制的视网膜静脉阻塞图像分类系统， 其特征在于， 所述分类网络根据视网膜炫彩图像的模态种类采用相同的分类网络或采用多种不同的分 类网络。 9.一种电子设备， 其特征在于， 包括存储器和处理器以及存储在存储器上并在处理器 上运行的计算机指令， 所述计算机指令被处理器运行时， 完成基于注意力机制的视网膜静 脉阻塞图像分类方法， 所述分类方法包括： 获取视网膜炫彩图像； 对视网膜炫彩图像进行特征提取， 对提取的不同分支的图像特征基于注意力 机制进行 全局和局部的特 征融合， 根据融合特 征对分类模型进行训练； 为对待分类视网膜炫彩图像根据训练后的分类模型得到视网膜静脉阻塞的病理分类 结果。权　利　要　求　书 1/2 页 2 CN 114581366 A 210.一种计算机可读存储介质， 其特征在于， 用于存储计算机指令， 所述计算机指令被 处理器执行时， 完成基于注意力机制的视网膜静脉阻塞图像分类方法， 所述分类方法包括： 获取视网膜炫彩图像； 对视网膜炫彩图像进行特征提取， 对提取的不同分支的图像特征基于注意力 机制进行 全局和局部的特 征融合， 根据融合特 征对分类模型进行训练； 为对待分类视网膜炫彩图像根据训练后的分类模型得到视网膜静脉阻塞的病理分类 结果。权　利　要　求　书 2/2 页 3 CN 114581366 A 3