(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111653265.8 (22)申请日 2021.12.3 0 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 林春晖　熊剑平　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/08(2006.01) G06T 7/10(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) (54)发明名称 交叉监督的模 型训练方法、 图像 分割方法及 相关设备 (57)摘要 本发明公开了一种交叉监督的模型训练方 法、 图像分割方法及相关设备， 该交叉监督的模 型训练方法包括： 获取样本图像； 将样本图像输 入基础孪生网络， 孪生网络包括网络结构相同的 第一网络和第二网络， 第一网络的基础参数与第 二网络的基础参数不同； 以第一网络的预测结果 作为第二网络的标签， 计算第二网络的损失， 以 第二网络的预测结果作为第一网络的标签， 计算 第一网络的损失， 以获取孪生网络的损失； 基于 孪生网络的损失， 迭代更新第一网络与第二网络 的参数， 直至满足训练截止条件； 将训练更新后 的第一网络或第二网络作为目标模 型。 通过上述 方式， 本发明能够减少样本图像的标注， 提高模 型运算准确率。 权利要求书2页 说明书10页 附图6页 CN 114742119 A 2022.07.12 CN 114742119 A 1.一种交叉监 督的模型训练方法， 其特 征在于， 所述方法包括： 获取样本图像； 将所述样本图像输入基础孪生网络， 孪生网络包括网络结构相同的第 一网络和第 二网 络， 所述第一网络的基础参数与所述第二网络的基础参数不同； 以所述第一网络的预测结果作为所述第二网络的标签， 计算所述第二网络的损 失， 以 所述第二网络的预测结果作为所述第一网络的标签， 计算所述第一网络的损失， 以获取所 述孪生网络的损失； 基于所述孪生网络的损 失， 迭代更新所述第一网络与所述第二网络的参数， 直至满足 训练截止条件； 将训练更新后的所述第一网络或所述第二网络作为目标模型。 2.根据权利要求1所述的交叉监 督的模型训练方法， 其特 征在于， 所述样本 图像包括一级样本 图像和二级样本 图像， 所述一级样本 图像带有一级标签， 所述二级样本图像不具有所述 一级标签， 所述获取 所述孪生网络的损失包括： 将所述一级样本图像分别输入所述基础孪生网络的第 一网络和第 二网络， 利用所述一 级标签计算所述第一网络的第一损失， 以及所述第二网络的第一损失； 将所述二级样本图 像分别输入所述基础孪生网络的第一网络和 第二网络， 以所述第一网络的预测结果作为所 述第二网络中二级样本图像的一级标签， 计算所述第二网络的第二损失， 以所述第二网络 的预测结果作为所述第一网络中二级样本图像的一级标签， 计算所述第一网络的第二损 失； 结合所述第 一网络的第一损失、 所述第一网络的第 二损失、 所述第二网络的第 一损失、 所述第二网络的第二损失得到所述孪生网络的损失。 3.根据权利要求2所述的交叉监 督的模型训练方法， 其特 征在于， 所述二级样本图像带有二级标签， 所述一级标签的分辨率高于所述二级标签的分辨 率， 所述基础孪生网络还 包括第三网络和第四网络， 所述获取 所述孪生网络的损失还 包括： 将所述二级样本图像分别输入所述基础孪生网络的第 三网络和第四网络， 利用所述二 级标签计算所述第三网络的第三损失， 以及所述第四网络的第三损失； 结合所述第 一网络的第一损失、 所述第一网络的第 二损失、 所述第二网络的第 一损失、 所述第二网络的第二损失、 所述第三网络的第三损失、 所述第四网络的第三损失得到所述 孪生网络的损失。 4.根据权利要求3所述的交叉监督的模型训练方法， 其特征在于， 所述结合所述第 一网 络的第一损失、 所述第一网络的第二损失、 所述第二网络的第一损失、 所述第二网络的第二 损失、 所述第三网络的第三损失， 所述第四网络的第三损失得到所述孪生网络的损失包括： 将所述第 一网络的第一损失、 所述第 一网络的第 二损失、 所述第二网络的第 一损失、 所 述第二网络的第二损失、 所述第三网络的第三损失与所述第四网络的第三损失加权相加， 得到所述孪生网络的损失； 其中， 所述第 一网络的第 一损失、 所述第二网络的第 一损失、 所述第 三网络的第 三损失 与所述第四网络的第三损失的权重系数为 1， 所述第一网络的第二损失、 所述第二网络的第 二损失的权 重系数小于1。 5.根据权利要求3所述的交叉监 督的模型训练方法， 其特 征在于，权　利　要　求　书 1/2 页 2 CN 114742119 A 2所述目标模型为图像分割模型， 所述一级样本 图像带有像素级标注， 所述二级样本 图 像带有图像级标注， 所述第一网络和所述第二网络为分割分支网络， 所述第三网络和所述 第四网络为分类分支网络 。 6.根据权利要求2所述的交叉监 督的模型训练方法， 其特 征在于， 所述方法还 包括： 将所述一级样本图像输入初始孪生网络， 分别利用所述一级标签计算所述第 一网络的 初级损失， 以及所述第二网络的初级损失， 以获取 所述孪生网络的初级损失； 基于所述孪生网络的初级损 失， 迭代更新所述第一网络与所述第二网络的参数， 直至 满足训练截止条件， 得到所述基础孪生网络 。 7.一种图像分割方法， 其特 征在于， 包括： 获取待处 理图像； 利用图像分割模型对所述待处理图像进行处理， 得到分割图像， 所述图像分割模型是 利用如权利要求1 ‑6任一项所述的交叉监 督的模型训练方法训练得到的。 8.根据权利要求7 所述的图像分割方法， 其特 征在于， 所述利用图像分割模型对所述待处 理图像进行处 理， 得到分割图像包括： 将所述待处 理图像输入所述图像分割模型， 得到图像 类别掩膜； 融合所述图像 类别掩膜与所述待处 理图像， 得到所述分割图像。 9.一种交叉监督的模型训练设备， 其特征在于， 包括处理器， 所述处理器用于执行指令 以实现如权利要求1 ‑6任一项所述的交叉监督的模型训练方法或权利要求7 ‑8任一项所述 的图像分割方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存储指令/ 程序数据， 所述指 令/程序数据能够被执行以实现如权利要求 1‑6任一项所述的交叉监督的 模型训练方法或权利要求7 ‑8任一项所述的图像分割方法。权　利　要　求　书 2/2 页 3 CN 114742119 A 3