(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111671804.0 (22)申请日 2021.12.31 (71)申请人 陕西科技大 学 地址 710021 陕西省西安市未央区大 学园 区陕西科技大 学 (72)发明人 杜晓刚　古东鑫　聂茵茵　曾杰鹏　 雷涛　王营博　吴英豪　高学敏　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 代理人 季海菊 (51)Int.Cl. G06T 7/00(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06T 7/11(2017.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种并行多分辨率编解码网络模型及医学 图像分割方法 (57)摘要 一种并行多分辨率编解码网络模型及医学 图像分割方法， 该模型包括多条编码分支的并行 多分辨率编码器、 多分辨率上下文编码器及并行 多分辨率解码器； 其医学图像分割方法， 首先， 在 并行多分辨率编码器分支中提取不同尺度图像 特征， 避免提取冗余特征， 且充分地进行融合特 征； 其次， 通过多分辨率上下文编码器， 仅使用标 准卷积操作提取多尺度上下文特征； 最后， 基于 解码过程中由于上采样操作会丢失上下文特征 的假设， 提出将并行多分辨率解码器中小分辨率 分支的全局上下文特征不断地补充到大分辨率 分支的特征图； 本发明能够被广泛地应用于待分 割的医学图像数据集上， 能够更准确地完成医学 图像分割任务， 其具有广阔的应用前 景。 权利要求书3页 说明书8页 附图3页 CN 114299053 A 2022.04.08 CN 114299053 A 1.一种并行多分辨率编解码网络模型， 包括多条编码分支的并行多分辨率编码器(A)， 其特征在于： 所述并行多分辨率编码 器(A)对多个不同分辨率的输入图像提取多尺度特征， 多分辨率上下文编码器(C)对并行多分辨率编码器(A)的深层网络中提取的多尺度上下文 特征进行融合， 融合后的特征图传送至并行多分辨率解码 器(B)中进 行解码， 恢复与输入图 像大小相同的输出概 率图； 所述并行多分辨 率编码器(A)及并行多分辨 率解码器(B)的并行线路2 ‑4条。 2.一种基于权利要求1所述的并行多分辨率编解码网络模型的医学图像分割方法， 其 特征在于， 具体分割步骤 包括： 步骤1、 对待分割的医学图像x进行预处理， 并对待分割的医学图像x进行训练前的超参 数进行初始化； 步骤2、 对步骤1预处理后的不同分辨率的医学图像x0、 x1和x2在所述并行多分辨率编码 器(A)中进行编码， 并行地提取网络中第i层的多尺度特征fi(x0)、 fi(x1)和fi(x2)， 其中i代 表网络的第i层， 且{i∈N|1≤i≤ 5}； 步骤3、 对步骤2提取的多尺度特征fi(x0)、 fi(x1)和fi(x2)进行互相融合， 其中i代表网 络的第i层， 且{i∈N|1≤i≤ 5}； 步骤4、 将特征图fi(x0)经过长短跳 跃连接得到新的特征图fi^(x0)后传递到 所述并行多 分辨率解码器(B)中， 其中i代 表网络的第i层， 且{i∈N|1≤i＜5}； 步骤5、 在多分辨率上下文编码器(C)中， 对多尺度上下文特征f5(x0)、 f5(x1)和f5(x2)进 行融合； 步骤6、 在并行多分辨率解码器(B)中使用双线性插值方式进行上采样操作来解码恢复 特征图大小； 步骤7、 对解码恢复特征图大小过程中的多尺度特征fi’(x0)、 fi’(x1)、 fi’(x2)和fi^(x0) 进行互相融合， 其中i代 表网络的第i层， 且{i∈N|1≤i＜5}； 步骤8、 输出分割结果图。 3.根据权利要求2所述的一种基于并行多分辨率编解码网络模型的医学图像分割方 法， 其特征在于， 所述 步骤1具体步骤主 要包括： a)将输入图像x的RGB颜色空间的值 域范围从[0， 25 5]归一化到[0， 1]范围； b)计算出训练数据集中输入图像x的RGB颜色空间的三通道的均 值 μ和方差σ， 标准归一 化输入图像x的分布后得到新分布图像x0； c)将步骤1第b)步得到的新分布图像x0进行两次下采样操作， 分别 得到图像x0的 尺寸 大小和 尺寸大小的图像x1和图像x2， 至此得到全部 输入图像x0、 x1和x2； d)设定并行多分辨率编解码网络模型， 采用二元交叉熵损失和Dice损失的组合作 为损 失函数， 采用Adam优化器， 训练最大迭代次数范 围为[100， 300]， 批量大小范 围为[4， 8]， 初 始学习率范围为[0.0001， 0.0004]， 动量为[0.85， 0.95]和权重衰减值范围为[0.0001， 0.0004]。 4.根据权利要求2所述的一种基于并行多分辨率编解码网络模型的医学图像分割方 法， 其特征在于， 所述步骤2中将图像x0、 x1和x2分别作为并行多分辨率编码器(A)的输入， 在 并行多分辨率编 码器(A)中的多 条编码分支的每一层中并行地进 行卷积、 批归一化、 非线性权　利　要　求　书 1/3 页 2 CN 114299053 A 2激活函数和最大值池化的复合运算提取多尺度特征； 其中， 以图像x0作为输入的分支提取 到富含细节信息的领域特征fi(x0)， 以图像x1和x2作为输入的分支提取包含上下文信息的 全局特征fi(x1)和fi(x2)。 5.根据权利要求2所述的一种基于并行多分辨率编解码网络模型的医学图像分割方 法， 其特征在于， 所述步骤3中所述多尺度特征fi(x0)、 fi(x1)和fi(x2)进行互相融合的方法 为： a)对网络第i层的特 征图fi(x2)进行提取 特征得到网络第i+1层的特 征fi+1(x2)； b)对网络第i层的特征图fi(x2)和fi(x1)进行特征融合并提取特征得到网络第i+1层的 特征fi+1(x1)； c)对网络第i层的fi(x1)和fi(x0)进行特征融合并提取特征得到网络第i+1层的特征fi+1 (x0)。 6.根据权利要求5所述的一种基于并行多分辨率编解码网络模型的医学图像分割方 法， 其特征在于， 所述 步骤3第c)步的具体方法为： Step1： 使用双线性插值方式对fi(x2)进行上采样操作， 使其与fi(x1)大小相同， 并且对 fi(x1)也进行上采样， 使其与fi(x0)大小相同； Step2： 将fi(x2)和fi(x1)在特征图通道上进行级联操作后融合特征， 并且将fi(x1)和fi (x0)在特征图通道上进行级联操作后融合特 征； Step3： 将融合后的特征顺序进行卷积、 批归一化、 非线性激活函数和最大值池化的复 合运算进行提取 特征。 7.根据权利要求2所述的一种基于并行多分辨率编解码网络模型的医学图像分割方 法， 其特征在于， 所述步骤4采用UNet++网络模型提出的长短跳跃连接进 行融合并传递到所 述并行多分辨 率解码器(B)中。 8.根据权利要求2所述的一种基于并行多分辨率编解码网络模型的医学图像分割方 法， 其特征在于， 所述 步骤5的具体步骤 包括： a)利用双线性插值方式分别对特征图f5(x2)和f5(x1)进行上采样操作， 使其与f5(x0)特 征图大小相同； b)在多尺度上下文特征图f5(x2)、 f5(x1)和f5(x0)通道间进行级联操作后进行特征融合 得到新的上 下文特征图f5’(x0)； c)将特征图f5’(x0)连续进行两次最大池化操作， 分别得到新的不同尺度的上下文特征 图f5’(x1)和f5’(x2)。 9.根据权利要求2所述的一种基于并行多分辨率编解码网络模型的医学图像分割方 法， 其特征在于， 所述 步骤7的具体步骤 包括： a)通过双线性插 值方式对特征图fi’(x2)进行上采样操作， 使 其与fi’(x1)特征图大小相 同， 同样通过双线性插值方式对特征图fi’(x1)进行上采样操作， 使其与fi’(x0)特征图大小 相同； b)将特征图fi’(x2)和fi’(x1)在特征图通道上进行级联操作后融合特征， 并且将特征图 fi’(x1)和fi’(x0)在通道上进行级联操作后融合特 征； c)将融合后的特征顺序进行卷积、 批归一化、 非线性激活函数和上采样的复合运算进 行解码操作。权　利　要　求　书 2/3 页 3 CN 114299053 A 3