(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210057787.X (22)申请日 2022.01.19 (71)申请人 云从科技 集团股份有限公司 地址 511457 广东省广州市南沙区南沙街 金隆路37号5 01房(仅限办公) (72)发明人 赵翰琳　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 代理人 张双凤 (51)Int.Cl. G06T 7/194(2017.01) G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01)G06V 10/82(2022.01) (54)发明名称 一种图片背景替换方法、 装置、 介质及设备 (57)摘要 本发明公开了一种图片背景替换方法， 包 括： 获取待处理图片； 对所述待处理图片进行特 征提取， 得到所述待处理图片 的高层语义特征； 基于所述待处理图片与所述高层语义特征进行 低层语义特征提取， 得到所述待处理图片的低层 语义特征， 并通过所述高层语义特征和所述低层 语义特征， 预测得到预测蒙版和预测前景； 根据 所述预测蒙版将所述预测前景和标准背景进行 融合， 以完成图片 背景的替换； 其中， 所述预测蒙 版用于表 示前景与背景各自所占的比例。 本发明 不依赖于任何人工协助， 输入仅需要一张图片原 图， 并且拍摄时候的红色幕布占据人物主体的大 部分区域即可， 便可实现高分辨率的图片换标准 背景功能， 基 本能满足绝大部分图片的场景。 权利要求书2页 说明书9页 附图5页 CN 114399524 A 2022.04.26 CN 114399524 A 1.一种图片背景替换 方法， 其特 征在于， 包括： 获取待处 理图片； 对所述待处 理图片进行 特征提取， 得到所述待处 理图片的高层语义特 征； 基于所述待处理图片与所述高层语义特征进行低层语义特征提取， 得到所述待处理图 片的低层语义特征， 并通过所述高层语义特征和所述低层语义特征， 预测得到预测 蒙版和 预测前景； 根据所述预测蒙版将所述预测前景和标准背景进行融合， 以完成图片背景的替换； 其 中， 所述预测蒙版用于表示前 景与背景 各自所占的比例。 2.根据权利要求1所述的图片背景替换方法， 其特征在于， 所述对所述待处理图片进行 特征提取， 得到所述待处 理图片的高层语义特 征， 包括： 对所述待处 理图片进行 下采样， 得到不同尺度的第一下采样特 征； 对所述不同尺度的第一下采样特 征进行特征编码， 得到第一编码特 征； 对所述第一编码特 征进行上采样， 得到不同尺度的第一上采样特 征； 融合所述不同尺度的第 一下采样特征和所述不同尺度的第 一上采样特征， 得到第 一融 合特征； 其中， 在进 行特征融合时， 将同一尺度的第一下采样特征和第一上采样特征进行融 合； 对所述第一融合特 征进行特征恢复， 得到高层语义特 征。 3.根据权利要求2所述的图片背景替换 方法， 其特 征在于， 通过第一卷积网络对所述待处 理图片进行 下采样， 得到第一下采样特 征； 通过多孔空间金字塔池化网络ASPP对所述第一下采样特征进行特征编码， 得到第一编 码特征； 通过插值 算法对所述第一编码特 征进行上采样， 得到第一上采样特 征。 4.根据权利要求2所述的图片背景替换方法， 其特征在于， 所述对所述第 一融合特征进 行特征恢复， 包括： 将所述第一融合特征输入到第 一特征恢 复网络中， 以对所述第 一融合特征进行特征恢 复， 其中， 所述第一特 征恢复网络包括： 卷积层、 Batc hNormalization层、 ReLU层。 5.根据权利要求1所述的图片背景替换方法， 其特征在于， 所述基于所述待处理图片与 所述高层语义特 征进行特征提取， 得到所述待处 理图片的低层语义特 征， 包括： 对所述待处理图片和所述高层语义特征进行下采样， 得到不同尺度的第二下采样特 征； 对所述不同尺度的第二下采样特 征进行特征编码， 得到第二编码特 征； 对所述第二编码特 征进行上采样， 得到不同尺度的第二上采样特 征； 融合所述不同尺度的第 二下采样特征和所述不同尺度的第 二上采样特征， 得到第 二融 合特征； 其中， 在进 行特征融合时， 将同一尺度的第二下采样特征和第二上采样特征进行融 合； 对所述第二融合特 征进行特征恢复， 得到低层语义特 征。 6.根据权利要求5所述的图片背景替换 方法， 其特 征在于， 所述方法还 包括： 将所述低层语义特征输入到特征优化网络Refine中， 以对所述低层语义特征进行优 化， 其中， 所述特 征优化网络Refi ne包括： 卷积层、 Batc hNormalization层、 ReLU层。权　利　要　求　书 1/2 页 2 CN 114399524 A 27.根据权利要求5所述的图片背景替换 方法， 其特 征在于， 通过第二卷积网络对所述待处理图片和所述高层语义特征进行下采样， 得到第 二下采 样特征； 通过多孔空间金字塔池化网络ASPP对所述不同尺度的第 二下采样特征进行特征编码， 得到第二编码特 征； 通过插值 算法对所述第二编码特 征进行上采样， 得到第二上采样特 征。 8.根据权利要求4所述的图片背景替换方法， 其特征在于， 所述对所述第 二融合特征进 行特征恢复， 得到恢复特 征， 包括： 将所述第一融合特征输入到第 二特征恢 复网络中， 以对所述第 二融合特征进行特征恢 复， 得到恢复特征， 其中， 所述第二特征恢复网络包括： 卷积层、 BatchNormalization层、 ReLU层。 9.根据权利要求1所述的图片背景替换方法， 其特征在于， 在对所述待处理图片进行高 层语义特 征提取前， 还包括： 将所述待处 理图片进行缩放， 使所述待处 理图片的尺寸 为预设尺寸。 10.一种图片背景替换装置， 其特 征在于， 包括： 图片获取模块， 用于获取待处 理图片； 第一特征提取模块， 用于对所述待处理图片进行特征提取， 得到所述待处理图片的高 层语义特 征； 第二特征提取模块， 用于基于所述待处理图片与 所述高层语义特征进行低层语义特征 提取， 得到所述待处理图片的低层语义特征， 并通过所述高层语义特征和所述低层语义特 征， 预测得到预测蒙版和预测前 景； 融合模块， 用于根据所述预测蒙版将所述预测前景和标准背景进行融合， 以完成图片 背景的替换； 其中， 所述预测蒙版用于表示前 景与背景 各自所占的比例。 11.一种图片背景替换设备， 其特 征在于， 包括： 一个或多个处 理器； 和 其上存储有指令的一个或多个机器可读介质， 当所述一个或多个处理器执行时， 使得 所述设备 执行如权利要求1 ‑9中一个或多个所述的方法。 12.一个或多个机器可读介质， 其特征在于， 其上存储有指令， 当由一个或多个处理器 执行时， 使得设备 执行如权利要求1 ‑9中一个或多个所述的方法。权　利　要　求　书 2/2 页 3 CN 114399524 A 3