(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111653182.9 (22)申请日 2021.12.3 0 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 胡敏浩　宋涛　冯世祥　张少霆　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 代理人 李申 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/36(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理模 型训练方法及相关装置、 设备和 存储介质 (57)摘要 本申请公开了一种图像处理模型训练方法 及相关装置、 设备和存储介质， 方法包括： 获取样 本图像集； 其中， 样本图像集包括第一样本图像 和样本相关图像， 第一样本图像标注有目标对象 的样本轮廓， 样本相关图像的像素点的像素值表 示包括第一样本图像中的第一像素点与样本轮 廓的样本相关度； 利用第一处理模 型对第一样本 图像进行预测， 得到预测图像集； 其中， 预测图像 集包括预测相关图像， 预测相关图像包括第一像 素点经预测与样本轮廓的预测相关度； 基于样本 相关图像与预测相关图像， 获取第一差异； 基于 第一差异， 调整第一处理模型的网络参数。 通过 该方法， 实现了利用弱标签数据对第一处理模型 的训练。 权利要求书3页 说明书18页 附图5页 CN 114332563 A 2022.04.12 CN 114332563 A 1.一种图像处 理模型训练方法， 其特 征在于， 包括： 获取样本图像集； 其中， 所述样本图像集包括第 一样本图像和 样本相关图像， 所述第一 样本图像标注有目标对象的样本轮廓， 所述样本相关图像的像素点的像素值表示所述第一 样本图像中的第一像素点与所述样本轮廓的样本相关度； 利用第一处理模型对所述第 一样本图像进行预测， 得到预测图像集； 其中， 所述预测图 像集包括预测相关图像， 所述预测相关图像包括所述第一像素点经预测与所述样本轮廓的 预测相关度； 基于所述样本相关图像与所述预测相关图像， 获取第一差异； 基于所述第一差异， 调整所述第一处 理模型的网络参数。 2.根据权利要求1所述的方法， 其特征在于， 所述样本相关度通过结合所述第 一像素点 和若干参 考维度确定； 其中， 所述若干参 考维度包括像素差异、 像素距离中至少一 者； 和/或， 所述第一样本图像为医学图像， 所述目标对象为目标组织， 所述目标对象的样 本轮廓为所述目标组织的样本轮廓。 3.根据权利要求1或2所述的方法， 其特 征在于， 所述样本相关图像的获取步骤， 包括： 基于所述第 一像素点分别与 所述样本轮廓上各个像素点之间的距离， 选择一个所述像 素点作为所述第一像素点的参 考像素点； 基于所述第一像素点与所述参考像素点之间的像素距离和/或像素差异， 得到所述第 一像素点与所述样本轮廓的样本相关度； 基于各个所述第一像素点的样本相关度， 得到所述样本相关图像。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述第 一像素点分别与 所述样本 轮廓上各个像素点之间的距离， 选择一个所述像素点作为所述第一像素点的参考像素点， 包括： 在所述样本轮廓上， 选择与所述第一像素点之间所述距离最近的像素点， 作为所述第 一像素点的参 考像素点。 5.根据权利要求3所述的方法， 其特征在于， 所述第 一样本图像分别标注有至少一个所 述目标对象的样本轮廓， 所述第一像素点在各个所述目标对象的样本轮廓上均选择有 所述 参考像素点； 所述基于所述第一像素点与所述参考像素点之间的像素距离和/或像素差异， 得到所述第一像素点与所述样本轮廓的样本相关度， 包括： 基于所述第一像素点分别与各个所述参考像素点之间的像素距离和/或像素差异， 得 到所述第一像素点分别与各个所述目标对象的样本轮廓的子相关度； 融合所述第一像素点的各个所述子相关度， 得到所述第一像素点的样本相关度。 6.根据权利要求3所述的方法， 其特征在于， 所述第 一样本图像分别标注有至少一个所 述目标对象的样本轮廓， 所述第一像素点在各个所述目标对象的样本轮廓上均选择有 所述 参考像素点， 且所述样本图像集包括各个所述目标对象分别对应的样本相关图像； 所述基于所述第一像素点与所述参考像素点之间的像素距离和/或像素差异， 得到所 述第一像素点与所述样本轮廓的样本相关度， 包括： 基于所述第一像素点分别与各个所述参考像素点之间的像素距离和/或像素差异， 得 到所述第一像素点分别与各个所述目标对象的样本轮廓的子相关度； 所述基于各个所述第一像素点的样本相关度， 得到所述样本相关图像， 包括：权　利　要　求　书 1/3 页 2 CN 114332563 A 2对于各个所述目标对象， 基于各个所述第 一像素点分别与所述目标对象的样本轮廓的 子相关度， 得到所述目标对象对应的样本相关图像。 7.根据权利要求6所述的方法， 其特征在于， 所述预测图像集包括各个所述目标对象分 别对应的预测相关图像， 所述基于所述样本相关图像与所述预测相关图像， 获取第一差异， 包括： 对于各个所述目标对象， 基于所述目标对象对应的所述样本相关图像和所述预测相关 图像， 得到所述目标对象对应的子 差异； 融合各个所述目标对象分别对应的子 差异， 得到所述第一差异。 8.根据权利要求1 ‑7任一项所述的方法， 其特征在于， 所述样本图像集包括样本掩膜图 像， 所述样本掩膜图像是基于所述第一样本图像中标注的目标对 象的样本轮廓得到的， 且 所述预测图像集还包括第一预测掩膜图像， 在所述基于所述第一差异， 调整所述第一处理 模型的网络参数之前， 所述方法还 包括： 基于所述样本掩膜图像与所述第一预测掩膜图像， 获取第二差异； 所述基于所述第一差异， 调整所述第一处 理模型的网络参数， 包括： 基于所述第一差异和所述第二差异， 调整所述第一处 理模型的网络参数。 9.根据权利要求8所述的方法， 其特征在于， 所述基于所述样本掩膜图像与 所述第一预 测掩膜图像， 获取第二差异， 包括： 将所述第一样本图像中标注的目标对象的样本轮廓作为样本掩膜图像的掩膜； 在所述第一预测掩膜图像中确定与所述样本掩膜图像的掩膜对应的预测像素点； 基于所述样本掩膜图像的掩膜所在的像素点和所述预测像素点的差异， 确定所述第 二 差异。 10.根据权利要求8 或9任一项所述的方法， 其特征在于， 所述样本图像集还包括第 二样 本图像， 且所述第二样本图像未 标注有所述目标对象的样本轮廓， 所述方法还 包括： 利用所述第一处理模型对所述第二样本 图像进行目标分割， 得到第二预测掩膜图像， 并利用第二处理模型对所述第二样本图像的增强样本图像进 行目标分割， 得到第三预测掩 膜图像； 其中， 所述第二处理模 型的网络参数基于所述第一处理模型的网络参数设置， 所述 增强样本图像包括以下任一者： 所述第二样本图像 自身、 所述第二样本图像经增强处理后 的第三样本图像； 获取所述第二预测掩膜图像与所述第三预测掩膜图像在投影一 致性方面的第三差异； 所述基于所述第一差异和所述第二差异， 调整所述第一处 理模型的网络参数， 包括： 基于所述第一差异、 所述第二差异和所述第三差异， 调整所述第一处理模型的网络参 数。 11.根据权利要求10所述的方法， 其特征在于， 所述第一处理模型经若干轮训练得到， 在所述基于所述第一差异、 所述第二差异和所述第三差异， 调整所述第一处理模型 的网络 参数之后， 所述方法还 包括： 基于所述第一处理模型在当前轮调整后的网络参数和所述第二处理模型在所述当前 轮时的网络参数， 得到所述第二处 理模型在所述当前轮的下一轮时的网络参数。 12.根据权利要求10所述的方法， 其特征在于， 所述获取所述第 二预测掩膜图像与 所述 第三预测掩膜图像在投影一 致性方面的第三差异， 包括：权　利　要　求　书 2/3 页 3 CN 114332563 A 3