(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111655736.9 (22)申请日 2021.12.3 0 (71)申请人 安徽工业大学 地址 243002 安徽省马鞍山市湖东路59号 (72)发明人 刘恒　张茼茼　陈峰　 (74)专利代理 机构 安徽知问律师事务所 34134 代理人 平静 (51)Int.Cl. G06T 5/00(2006.01) G06T 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于潜在特征重构和掩模感知的人脸 图像修复方法 (57)摘要 本发明公开了一种基于潜在特征重构和掩 模感知的人脸图像修复方法， 属于图像处理技术 领域。 本发明主要包括以下步骤： 1、 获取人脸图 像数据集， 并将数据集中的图像进行预处理； 2、 构建一个基于潜在特征重构的结构重构器和掩 模感知的纹理生成器用于模型训练； 3、 基于构建 的深度网络和预处理的数据集对网络模型进行 训练； 4、 依据学习的模型参数， 将一幅缺损的人 脸图像作为网络的输入， 得到完整的人脸图像。 本发明通过结合拥有优良性能的结构重构器和 纹理生成器， 生成了修复效果不错的人脸图像， 在智能照片处 理等领域中有着广泛的应用前 景。 权利要求书2页 说明书7页 附图2页 CN 114331894 A 2022.04.12 CN 114331894 A 1.一种基于潜在特 征重构和掩 模感知的人脸图像修复方法， 其特 征在于， 其 步骤为： 步骤1、 获取 人脸图像数据集， 并将数据集中的图像进行 预处理； 步骤2、 构建一个基于潜在特征重构的结构重构器和掩模感知的纹理生成器用于网络 模型训练； 步骤3、 依据步骤1预处 理的数据集和步骤2构建的模型， 调整模型参数， 进行模型训练； 步骤4、 将一幅缺损的人脸图像作为网络的输入， 利用步骤3学习得到的参数得到一幅 完整的人脸图像作为输出。 2.根据权利要求1所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法， 其 特征在于： 步骤1中图像进行预处理的过程为： 采用计算机生成任意大小和形状的掩码， 将 所述掩码与训练集中的任一图像按像素相乘， 得到破损的图像。 3.根据权利要求1或2所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法， 其特征在于： 步骤2中构建的结构重构器， 首先经过3 ×3卷积层、 归一化层和PReLU层， 再使 用50个相同的bottleneck模块， 从第6层、 第20层和第23层分别提取三个大小不同的特征 图， 分别记作c1， c2， c3； c2通过 1×1卷积得到的特征图经过上采样后与c3相加得到p2， p2通 过1×1卷积得到的特征图经过上采样后与c1相加得到p1； c3通过16个渐变样式模块生 成样 式特征向量0、 样式特征向量1和样式特征向量2， p2 通过32个渐变样式模块生 成样式特征向 量3、 样式特征向量4、 样式特征向量5和样式特征向量6， p1通过64个渐变样式模块生 成样式 特征向量7至样式特征向量17； 最后， 将生成的18个样式特征向量送到StyleGAN中， 得到修 复完成的粗 糙图片。 4.根据权利要求3所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法， 其 特征在于： 步骤2中构建的纹 理生成器分为 三个模块， 分别是： 纹理编码器， 将带有掩码的粗 糙恢复图像编码成特 征图； 恢复解码器， 用于细化特 征图； 以及两个相同结构的细化 解码器， 用于继续将特 征图细化， 并将特 征图解码回像素。 5.根据权利要求4所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法， 其 特征在于： 步骤2中网络训练的损失函数， 在结构重构器中分为六种， 分别是像素重建损失 L2、 感知损失Ls‑prec、 身份损失LID、 潜在相似度损失Llalent、 掩模内像素重建损失Ls‑hole和掩模 外像素重建损失Ls‑valid， 如下所示： LGs＝L2+0.8*Ls‑prec+0.1*LID+Llatent+6*Ls‑hole+Ls‑vaild 在纹理生成器中损失函数分为五种， 分别 是感知损失Lt‑prec、 风格损失Lstyle、 总变异损 失Ltv、 掩模内像素重建损失Lt‑hole和掩模外像素重建损失Lt‑valid： LGt＝Lt‑vaild+6Lt‑hole+0.05Lt‑prec+120Lstyle+0.1Ltv。 6.根据权利要求5所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法， 其 特征在于： 在结构重构器中， bottleneck模块包含shortcut层和 res层； shortcut层依次包 含1×1卷积层、 归一化层， res层依次包含归一化层、 3 ×3卷积层、 PReLU激活函数层、 3 ×3卷 积层、 归一化层、 池化层、 1 ×1卷积层、 ReLU激活函数层、 1 ×1卷积层、 sigmoi d激活函数层； 渐变样式模块依次包 含3×3卷积层、 LeakyReLU激活函数层。 7.根据权利要求6所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法， 其 特征在于： 在纹理生成器中， 一共7层网络， 每层网络的处理操作相同， 但部 分卷积层卷积核权　利　要　求　书 1/2 页 2 CN 114331894 A 2的大小不同； 在编码器中， 先将掩模图片经过卷积层Conv1和Relu激活层， 再经过3 ×3卷积 层和1×1卷积层生成卷积核， 用该卷积核对修复的粗糙图像进行卷积， 再经过归一化层、 ReLU激活函数层、 3 ×3卷积层、 1 ×1卷积层、 ReLU激活函数层， 得到特征图传入恢复解码器 中； 在恢复解码器中， 首先经过转置卷积层Dconv、 归一化层、 LeakyReLU激活函数层， 然后将 其与上一层得到的特征图级联， 级联之后 经过5×5卷积层、 3 ×3卷积层、 LeakyReLU激活函 数层， 得到特征图； 在细化解码 器中， 特征图通过转置卷积层、 归一化层， 得到的特征图记作 f1； 上一层得到的特征图通过4 ×4卷积层、 3 ×3卷积层、 ReLU激活函数层、 3 ×3卷积层， 得到 的特征图记作f2； 将f1和f2两个特征图按像素相乘， 得到的特征图和f2按像素相加， 最后再 经过一个LeakyReLU激活函数层。 8.根据权利要求7所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法， 其 特征在于： 在结构重构器中， p1的特征图数量为512， p2的特征图数量为512， c3的特征图数 量是512， 样式向量的特 征图数量是18。 9.根据权利要求8所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法， 其 特征在于： 在纹理生成器中， 第一层 网络输出的特征图数量为3， 第二层网络输出的特征图 数量为64， 第三层网络输出的特征图数量为128， 第四层网络输出的特征图数量为256， 第五 层网络、 第六层网络和第七层网络 输出的特 征图数量均为512。 10.根据权利要求9所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法， 其 特征在于： 采用Adam优化算法优化网络模 型， 使用学习率衰减策略， 并通过最小化整体损失 函数来进行优化， 用公式表示如下： 其中， N为步骤1所得训练集中样本数量， 表示第i个缺陷图像样本， 表示第i个完 整图像样本， Ф表示学习到的神经网络参数， L 为计算得到的整体损失值； 在训练过程中， 通过指定迭代次数来进行网络参数 更新。权　利　要　求　书 2/2 页 3 CN 114331894 A 3