(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111670170.7 (22)申请日 2021.12.31 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 郝轩廷　盛立杰　苗启广　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 田文英　王品华 (51)Int.Cl. G06T 11/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于残差结构-解析任务辅助的人脸图像上 色方法 (57)摘要 本发明提出了一种基于残差结构 ‑解析任务 辅助的人脸图像上色方法， 其实现步骤为： 1、 生 成训练集； 2、 构建残差 结构‑多任务神经网络； 3、 训练残差结构 ‑多任务神经网络； 4、 对人脸图像 进行上色。 本发 明在残差结构的基础上通过对上 色任务再引入一个解析任务， 从而构建一个残差 结构‑多任务网络， 残差结构增强了网络的学习 能力， 解析任务辅助上色任务使其能够进行更符 合语义的人脸图像上色， 有效地提高了人脸图像 上色的质量。 权利要求书3页 说明书8页 附图2页 CN 114494488 A 2022.05.13 CN 114494488 A 1.一种基于残差结构 ‑解析任务辅助的人脸图像上色方法， 其特征在于， 利用残差结构 构建网络， 并引入解析任务辅助上色， 该 方法的具体步骤如下： 步骤1， 生成训练集： (1a)选取至少240 00张彩色人脸图像； (1b)将每张彩色人脸图像通过训练好的人脸解析网络BiSeNet进行推理， 生成该张彩 色人脸图像对应的含有解析类别标签的解析图像； (1c)将每张彩色人脸图像通过线性映射 生成该张彩色人脸图像的灰度图像； (1d)将每张彩色人脸图像与其对应的解析图像及灰度图像组合 生成数据样本； (1e)将所有的数据样本组成训练集； 步骤2， 构建残差结构 ‑多任务神经网络： (2a)构建编码器的结构依次为： 头部、 第一下采样层、 第一残差层、 第二下采样层、 第二 残差层、 第三下采样层、 第三残差层、 第四下采样层、 第四残差层、 第五下采样层； 所述头部由卷积层、 BatchNorm层、 ReLU激活层、 最大池化层组成， 所述的卷积层由64个 7×7大小卷积核组成， 所述的最大池化层由64个3 ×3大小池化核组成； 每个残差层中设置一个骨干分支和一个跳连分支， 所述残差层骨干分支中设置两个串 联的残差块， 每个残差块中设置一个骨干分支和一个跳连分支； 残差块骨干分支由卷积核 大小为3×3的第一卷积层、 第一BatchNorm层、 ReLU激活层、 卷积核大小为3 ×3的第二卷积 层和第二BatchNorm层串联组成； 所述残差块跳连分支采用一个卷积核大小为1 ×1的卷积 层； 残差块的骨干分支和跳连分支通过逐位置加法器相连后再与ReLU激活层连接； 所述残 差层跳连分支采用一个卷积核 大小为1×1的卷积层； 残差层的骨干 分支和跳连分支通过逐 位置加法器相连； 第一至第四残差层中卷积层的卷积核的数量分别为64、 128、 25 6、 512； 第一至第五下采样层均采用双线性插值方法； (2b)构建包 含上色分支和解析分支的解码器： 构建解码器 中上色分支的结构依次为： 第一残差上色层、 第 一上采样层、 第 二残差上色 层、 第二上采样层、 第三残差上色层、 第三上采样层、 第四残差上色层、 第四上采样层、 第五 残差上色层、 第五上采样层； 每个残差上色层中设置一个骨干 分支和一个跳连分支， 所述残 差上色层的骨干分支和跳连分支的结构与参数与步骤(2a)中所述的编码器的残差层的骨 干分支和跳连分支一致； 残差上色层的骨干分支和跳连分支通过逐位置加法器相连； 第一 至第五残差上色层中的卷积层的卷积核的数量分别为256、 128、 64、 64、 64； 第一至第五上采 样层均采用双线性插值方法； 构建解码器中解析分支 的结构为四个并联的分支， 用于对不同尺寸的特征进行解析， 每个分支均由残差解析层和上采样层串联组成； 每个残差解析层中设置一个骨干分支和一 个跳连分支， 残差解析层的骨干 分支和跳连分支的结构与参数与步骤(2a)中所述的编码 器 的残差层的骨干分支和跳连分支 一致； 残差解析层的骨干 分支和跳连分支 通过逐位置加法 器相连； 每个残差解析层中的卷积层的卷积核的数量均为19； 每个上采样层均采用双线性 插值方法； 将解析分支中的四个分支通过 逐位置加法器相连； (2c)连接编码器， 解码器的上色 分支和解析分支： 将编码器的第五下采样层与解码器上色分支的第 一残差上色层相连， 编码器的第四下权　利　要　求　书 1/3 页 2 CN 114494488 A 2采样层与解码器上色分支的第一上采样层通过逐位置加法器相连， 编 码器的第三下采样层 与解码器上色分支的第二上采样层通过逐位置加法器相连， 编 码器的第二下采样层与解码 器上色分支的第三上采样层通过逐位置加法器相连， 编 码器的第一下采样层与解码 器上色 分支的第四上采样层通过 逐位置加法器相连； 将解码器的上色分支中第 一上采样层与解码器的解析分支中的第 一分支相连； 第 二上 采样层与解码器的解析分支中的第二分支相连； 第三上采样层与解码器的解析分支中的第 三分支相连； 第四上采样层与解码 器的解析分支中的第四分支相连； 完成残差结构 ‑多任务 神经网络的构建； 步骤3， 训练残差结构 ‑多任务神经网络： 将训练集输入到残差结构 ‑多任务神经网络中， 使用 梯度下降反向传播方法迭代更新 网络参数， 直到总损失函数收敛为止， 得到训练好的残差结构 ‑多任务神经网络； 步骤4， 对人脸图像进行 上色： 将一张待上色的人脸灰度图像输入到训练好的残差结构 ‑多任务神经网络中， 输出上 色后的人脸图像。 2.根据权利要求1所述的基于残差结构 ‑解析任务辅助的人脸图像上色方法， 其特征在 于， 步骤(2a)中所述的第一下采样层、 第二下采样层、 第三下采样层、 第四下采样层、 第五下 采样层对应的输出特征在通道、 高、 宽三个维度的尺寸分别 为64×128×128， 64×64×64， 128×32×32， 256×16×16， 512×8×8。 3.根据权利要求1所述的基于残差结构 ‑解析任务辅助的人脸图像上色方法， 其特征在 于， 步骤(2b)中所述的第一上采样层、 第二上采样层、 第三上采样层、 第四上采样层、 第五上 采样层对应的输出特征在通道、 高、 宽三个维度的尺寸分别 为256×16×16， 128×32×32， 64×64×64， 64×128×128， 3×256×256。 4.根据权利要求1所述的基于残差结构 ‑解析任务辅助的人脸图像上色方法， 其特征在 于， 步骤3中所述的总损失函数如下： 其中， L表示总损失函数， ∑表示求和操作， N表示训练集样本的总数， Lc(·)表示解码器 上色分支的损失函数， Lp(·)表示解码器解析分支的损失函数， α为平衡系数， 该值是根据 解码器上色分支与解码器解析分支相对于应用场景设定的， 表示训练集的第n张彩色人 脸图像的灰度图像经残差结构 ‑多任务神经网络中上色分支输出的彩色人脸图像， 表示 训练集中第n张彩色人脸图像， 表示训练集的第n张彩色人脸图像的灰度图像经残差结 构‑多任务神经网络中解析分支输出的解析图像， 表示训练集中第n张彩 色人脸图像的解 析图像； 所述Lc(·)是由下式计算得到的： 其中， 表示对 逐位置求差的绝对值后的平均值， 即解码器上色分支的权　利　要　求　书 2/3 页 3 CN 114494488 A 3