(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111680466.7 (22)申请日 2021.12.31 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 黄立勤　刘晨雨　杨明静　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 代理人 陈明鑫　蔡学俊 (51)Int.Cl. G06T 7/10(2017.01) G06N 3/08(2006.01) (54)发明名称 基于分离表示的脑肿瘤 图像生成与分割联 合学习方法 (57)摘要 本发明涉及一种基于分离表示的脑肿瘤 图 像生成与分割联合学习方法。 基于分离表示将共 享的内容和域特定样式特征分离出来， 通过将提 取的内容特征与分割任务相连接， 能够有效提高 脑肿瘤图像合成与分割的效果。 通过对缺失模态 的合成， 无需在所有可能的模态子集上训练模 型， 复杂性相对更小， 所需的训练时间更少。 该网 络模型可以灵活地处理随机一个或多个缺失域， 使模型在输入 任何多模态子集时都具有鲁棒 性。 权利要求书2页 说明书4页 附图2页 CN 114332102 A 2022.04.12 CN 114332102 A 1.一种基于分离表示的脑肿瘤图像生成与分割联合学习方法， 其特 征在于， 包括： 设计一个基于分离表示的生成与分割网络， 在训练过程中随机对一个或者多个模态的 图像进行缺失处理， 从而实现灵活地处理一组随机缺失的领域； 基于分离表示的生成与分 割网络还将提取的内容特 征与分割任务相结合； 通过引入内容约束编码器， 准确地 提取出独立于模式的共享 解剖结构特 征； 添加强化分离的相似性损失， 通过对损失函数的改进， 进一 步提升分割的性能。 2.根据权利要求1所述的基于分离表示的脑肿瘤图像生成与分割联合学习方法， 其特 征在于， 所述基于分离表示的生成与分割网络， 设计缺失模态情况下 的生成与分割网络框 架， 包含域共享的内容编码器Ec与域特定的属性编码器Ea， 所述基于分离表示的生成与分割 网络具体如下： 将4个不同域{X1,X2,X3,X4}中的样本图像x1∈X1,x2∈X2,x3∈X3,x4∈X4分别提取域特定 的属性特征 并从所有现有域中提取域共享内容特征c＝Ec(x1,x2, x3,x4)； 属性特 征表示特定 于i域的图像外观信息， 内容特 征表示大脑解剖结构的形态信息； 在图像生成过程中， 从先验高斯分布中对属性特征进行随机采样， 通过与内容特征集 成生成图像 其中 表示对应i域图像的生成器， 利用图像一致性损失函数 其中 表示期望， p(xi)是域Xi(1≤i≤ 4)中的数据分布， 使用L1损失来优化生成的多个域图像； 并利用潜在一致性损失函数 来约束属性特征与内容特征重建后的一致性， 其中p (ai)包含每个域中的域特定特征， 内容分布p(c)包含不同大脑对象的解剖结构相关特征； 此外， 在域共享的内容编 码器后添加分割解码 器， 以生成输入图像的分割结果； 通过同时优 化合成损失和分割Dice损失， 基于 分离表示的生成与分割网络能够自适应地学习如何生成 缺失图像以提高分割性能， 并且在输入 任何多模子集时具有鲁棒 性。 3.根据权利要求1所述的基于分离表示的脑肿瘤图像生成与分割联合学习方法， 其特 征在于， 所述内容约束编码器即基于一 致性学习形状先验的内容约束编码器， 具体如下： 内容约束编码器将分割金标准y作为输入， 从标签中学习形状先验； 通过损失函数 在特征空间中分析脑肿瘤图像的内容特征 与标签特征 的解剖结构一致性， 同时利用损 失函数 保证内容约束编码器的有效性， 其中 为编码器输出的分割标签。 4.根据权利要求2所述的基于分离表示的脑肿瘤图像生成与分割联合学习方法， 其特 征在于， 所述强化分离的相似性损失具体如下： 在基于分离表示的生成与分割网络中属性特征与内容特征之间可能会发生重叠， 这导 致学习到的共享内容特征仍然受域偏差的影响； 假设同一模态下不同患者的属性特征比同 一个患者不同模态的属性特征更相似， 因此类间距离 应比类内距离权　利　要　求　书 1/2 页 2 CN 114332102 A 2大， 其中p、 q表示不同患者， i、 j表示不同模态； 通过设计基于Triple损失 函数Lsim＝max(margin+dpos‑dneg,0)来优化基于分离表示的生成与分割网络， 利用margin鼓 励类间距离与类内距离相差边距大小。权　利　要　求　书 2/2 页 3 CN 114332102 A 3