(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111679944.2 (22)申请日 2021.12.31 (71)申请人 广州繁星互娱信息科技有限公司 地址 510000 广东省广州市黄埔区广新路 680、 682、 684 号701房 (72)发明人 张树业　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 代理人 周婷婷 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 图像处理方法和装置、 存 储介质及电子设备 (57)摘要 本申请公开了一种图像处理方法和装置、 存 储介质及电子设备。 其中， 该方法包括： 获取目标 对象的目标人脸图像和携带有目标类型妆容的 参考人脸妆容图像； 通过迁移生成 网络将参考人 脸妆容图像中的目标类型妆容迁移到目标人脸 图像中， 得到妆容迁移后的人脸图像； 其中， 迁移 生成网络是为利用样本人脸妆容图像进行多次 训练后得到的妆容迁移神经网络模 型， 用于根据 人脸图像中显示的对象的人脸特征来预测所要 迁移的妆容， 在迁移生成网络中的不同类型妆容 对应不同的方向向量， 方向向量用于生成不同妆 容的参考人脸妆容图像； 输出妆容迁移后的人脸 图像。 本申请解决了相关技术中提供的妆容迁移 可控性较差造成的妆容迁移效果不佳的技术问 题。 权利要求书2页 说明书11页 附图6页 CN 114299594 A 2022.04.08 CN 114299594 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取目标对象的目标 人脸图像和携带有目标类型妆容的参 考人脸妆容图像； 通过迁移生成网络将所述参考人脸妆容图像中的所述目标类型妆容迁移到所述目标 人脸图像中， 得到妆容迁移后的人脸图像； 其中， 所述迁移 生成网络是为利用样本人脸妆容 图像进行多次训练后得到的妆容迁移神经网络模型， 用于根据人脸图像中显示的对象的人 脸特征来预测所要迁移的妆容， 在所述迁移 生成网络中的不同类型妆容对应不同的方向向 量， 所述方向 向量用于生成不同妆容的参 考人脸妆容图像； 输出所述妆容迁移后的人脸图像。 2.根据权利要求1所述的方法， 其特征在于， 获取目标对象的目标人脸图像和携带有目 标类型妆容的参 考人脸妆容图像之前， 包括： 获取未上妆的人脸图像， 以及所述未上妆的人脸图像对应的不同类型妆容的妆容人脸 图像； 根据所述未上妆的人脸图像和所述不同类型妆容的妆容人脸图像， 生成所述迁移生成 网络。 3.根据权利要求2所述的方法， 其特征在于， 根据 所述未上妆的人脸图像和所述不同类 型妆容的妆容人脸图像， 生成所述迁移生成网络， 包括： 获取目标人脸图像对应的目标特征向量； 其中， 所述未上妆的人脸图像包括所述目标 人脸图像； 将所述目标特征向量与所述不同类型妆容对应的所述方向向量进行叠加运算， 得到每 个所述类型妆容对应的目标 人脸图像的图像特 征向量； 在每个所述类型妆容对应的目标人脸图像的图像特征向量所指示的图像与每个所述 妆容类型 下的目标 人脸图像之间的差异小于预设阈值时， 确定得到所述迁移生成网络 。 4.根据权利要求3所述的方法， 其特征在于， 所述获取目标人脸图像对应的目标特征向 量， 包括： 对样本人脸图像集 合中所有的样本人脸图像依次执 行如下操作： 生成与当前样本人脸图像对应的随机多维特 征向量； 基于图像特 征提取器获取 所述当前样本图像的原 始多维特 征向量； 在所述随机多维特征向量与 所述原始多维特征向量之间的差异度小于预设阈值时， 确 定得到当前样本人脸图像对应的目标 特征向量。 5.根据权利要求4所述的方法， 其特征在于， 通过如下公式调整所述原始多维特征向 量： e'＝e+λ d； 其中， 所述e为所述原始多维特征向量， d为目标妆容的方向向量， λ为实数变量， λ用于 所述控制目标妆容的浓淡程度。 6.根据权利要求3 至5任一项中所述的方法， 其特 征在于， 所述方法还 包括： 将每个所述类型妆容的目标人脸图像的图像特征向量， 通过所述迁移生成网络进行上 采样或反卷积 操作， 得到预设 分辨率的妆容迁移后的人脸图像； 输出所述预设 分别率的妆容迁移后的人脸图像。 7.一种图像处 理装置， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 114299594 A 2第一获取单元， 用于获取目标对象的目标人脸图像和携带有目标类型妆容的参考人脸 妆容图像； 迁移单元， 用于通过迁移生成网络将所述参考人脸妆容图像中的所述目标类型妆容迁 移到所述目标人脸图像中， 得到妆容迁移后的人脸图像； 其中， 所述迁移生 成网络是为利用 样本人脸妆容图像进 行多次训练后得到的妆容迁移神经网络模型， 用于根据人脸图像中显 示的对象的人脸特征来预测所要迁移的妆容， 在所述迁移生成网络中的不同类型妆容对应 不同的方向 向量， 所述方向 向量用于生成不同妆容的参 考人脸妆容图像； 输出单元， 用于输出所述妆容迁移后的人脸图像。 8.根据权利要求1所述的装置， 其特 征在于， 所述图像处 理装置， 还 包括： 第二获取单元， 用于获取未上妆的人脸图像， 以及所述未上妆的人脸图像对应的不同 类型妆容的妆容人脸图像； 生成单元， 用于根据所述未上妆的人脸图像和所述不同类型妆容的妆容人脸图像， 生 成所述迁移生成网络 。 9.一种计算机可读的存储介质， 其特征在于， 所述计算机可读的存储介质包括存储的 程序， 其中， 所述 程序运行时执 行所述权利要求1至 6任一项中所述的方法。 10.一种电子设备， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方 法。权　利　要　求　书 2/2 页 3 CN 114299594 A 3