(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111660372.3 (22)申请日 2021.12.3 0 (71)申请人 华中科技大 学协和深圳医院 地址 518060 广东省深圳市南 山区桃园路 89号 (72)发明人 姜伟　邓晓妃　朱婷　汪天富　 雷柏英　向卓　柳懿垚　赵程　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 代理人 徐凯凯 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多模态的甲状腺肿瘤 图像分类方 法及终端设备 (57)摘要 本发明公开了一种基于多模态的甲状腺病 理图像分类方法及终端设备， 其中， 方法包括步 骤： 采用三个ResNet18网络分别对三个模态的甲 状腺病理图像进行信息特征提取， 得到三模态信 息特征， 所述三个模态的甲状 腺病理图像包括甲 状腺超声图像、 甲状腺弹性图像和甲状 腺血流图 像； 采用多模态多头注意力模块提取三个模态的 甲状腺病理图像的共有信息特征； 将三模态信息 特征和共有信息特征进行融合后， 并利用残差网 络进行甲状腺病理图像分类， 输出分类结果。 本 发明在合作研究单位提供的多模态甲状腺超声 数据集上验证了设计的多模态的甲状腺病理图 像分类方法， 结果证明了此方法可以准确地对甲 状腺病理图像进行分类， 为超声科医生对诊断甲 状腺癌提供 快速、 准确的辅助。 权利要求书2页 说明书7页 附图3页 CN 114332040 A 2022.04.12 CN 114332040 A 1.一种基于多模态的 甲状腺病理图像分类方法， 其特 征在于， 包括 步骤： 获取三个模态的甲状腺病理图像， 所述三个模态的甲状腺病理图像包括甲状腺超声图 像、 甲状腺弹性图像和甲状腺血流图像； 采用三个ResNet 18网络分别 对所述三个模态的甲状腺病理图像进行信息特征提取， 得 到三模态信息特 征； 采用多模态多头注意力模块 提取三个模态的 甲状腺病理图像的共有信息特 征； 将所述三模态信 息特征和共有信 息特征进行融合后， 并利用残差网络进行甲状腺病理 图像分类， 输出分类结果。 2.根据权利要求1所述基于多模态的甲状腺病理图像分类方法， 其特征在于， 采用三个 ResNet18网络 分别对所述三个模态的甲状腺病理图像进 行信息特征提取， 得到三模态信息 特征的步骤 包括： 在ResNet18网络中采用双数复小 波变换替换 卷积操作， 得到改进后ResNet18网络； 采用三个改进后ResNet18网络分别对所述三个模态的甲状腺病理图像进行信息特征 提取， 得到三模态自身特 征； 在所述ResNet 18网络中加入多模态特征融合模块， 通过所述多模态特征融合模块提取 所述三个模态的 甲状腺病理图像的共同特 征； 通过所述多模态特征融合模块将所述三模态自身特征与 所述共同特征进行融合， 得到 三模态信息特 征。 3.根据权利要求2所述基于多模态的甲状腺病理图像分类方法， 其特征在于， 通过所述 多模态特 征融合模块 提取所述三个模态的 甲状腺病理图像的共同特 征的步骤 包括： 将三模态自身特 征级联在一 起， 用1x1卷积去提取 所述三模态自身特 征中的共有特 征； 通过全局平均池化提取三模态自身特征的通道信 息， 再使用提取到的通道信 息向量去 构成一个包 含三模态各通道间相关信息的通道信息特 征FC(i， j， k)； 再采用1x1卷积和全局平均池 化对通道信息特征FCC×C×C进行进一步的提取， 以对从三模 态自身特 征提取到的通道信息 重新调整其 通道权值； 采用自注意力模块从所述三模态自身特征中提取有用特征， 并将所述有用特征与从所 述三模态自身特 征中提取到的共有特 征融合， 得到融合后的特 征； 将所述融合后的特征送回各改进后ResNet18网络用以指导改进后ResNet18网络的特 征提取方向， 使得三个改进后ResNet18网络提取到的特 征维度接 近， 得到三模态信息特 征。 4.根据权利要求3所述基于多模态的甲状腺病理图像分类方法， 其特征在于， 所述通道 信息特征FC(i， jk)的值为将三个模态对应坐标位置的通道信息相乘所得， FC(i， j， k)＝V1 (i)*V2(j)*V 3(k)i， j， k∈[0， C)， 其中， V1、 V2、 V 3代表从三模态自身特征中提取的通道信息 向量； i， j， k代 表对应的坐标位置 。 5.根据权利要求3所述基于多模态的甲状腺病理图像分类方法， 其特征在于， 所述融合 后的特征表达式为： F′i＝Bottleneck({Attention， Conv}(F1， F2， F3))， i＝1， 2， 3， 其中， Botleneck()代表 瓶颈层， 用以提取 特征， {Attention， Conv}分别代 表注意力模块和1x1卷积模块。 6.根据权利要求1所述基于多模态的甲状腺病理图像分类方法， 其特征在于， 所述多模 态特征融合模块的参数获取步骤为：权　利　要　求　书 1/2 页 2 CN 114332040 A 2设置自监督任务对ResNet18网络进行预训练， 所述自监督任务为对 甲状腺超声图像、 甲状腺弹性图像和甲状腺血流图像的分类任务； 所述自监督分类任务采用的损失函数为交叉熵函数， 且分类过程表达为： lself＝‑ ∑classesf(ytrue)log ypred， 其中， f()代 表标签平 滑处理； 在完成自监 督预训练后， 将ResNet18网络中的参数迁移到多模态特 征融合模块中。 7.根据权利要求1所述基于多模态的甲状腺病理图像分类方法， 其特征在于， 采用多模 态多头注意力模块 提取三个模态的 甲状腺病理图像的共有信息特 征的步骤 包括： 采用动态窗口将输入的三个模态的 甲状腺病理图像划分为多个子图像； 一个注意力计算机制中的向量Q、 K、 V分别由三个模态图像相同位置大小的子图像编码 所得， 即通过一个注意力提取三个模态的 甲状腺病理图像相同位置的共同信息； 所有的子图像对应的注意力计算构 成了多头注意力 机制， 输出得到一个包含三模态共 同信息的特 征向量， 将所述特 征向量输入编码器中提取共有信息特 征。 8.一种存储介质， 其特征在于， 所述存储介质存储有一个或者多个程序， 所述一个或者 多个程序可被一个或者多个处理器执行， 以实现如权利要求1 ‑7任意一项所述基于多模态 的甲状腺病理图像分类方法中的步骤。 9.一种终端设备， 其特征在于， 包括： 处理器、 存储器及通信总线； 所述存储器上存储有 可被所述处 理器执行的计算机可读程序； 所述通信总线实现处 理器和存 储器之间的连接通信； 所述处理器执行所述计算机可读程序时实现如权利要求1 ‑7任意一项所述基于多模态 的甲状腺病理图像分类方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114332040 A 3