(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111663883.0 (22)申请日 2021.12.31 (71)申请人 南京硅基智能科技有限公司 地址 210012 江苏省南京市雨 花台区风信 路20号万博科技园C号楼4层 (72)发明人 司马华鹏 　杨过　廖铮　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 代理人 阚梦诗 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 15/00(2011.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 三维人脸表情的渲染方法及装置、 存储介质 及电子装置 (57)摘要 本申请实施例提供了一种三维人脸表情的 渲染方法及装置、 存储介质及电子装置， 所述方 法包括： 提取目标人脸图像中的目标68关键点特 征， 将目标68关键点特征输入三维人脸表情迁移 模型， 通过三维人脸表情迁移模型输出目标68关 键点特征对应的目标blendshapes， 其中， 三维人 脸表情迁移模型为使用样本数据训练的回归网 络模型， 样 本数据包括样本68关键点以及对应的 样本blendshapes， 三维人脸表情迁移模型中包 括第一卷积网络模块， 第一卷积网络模块包括6 路并联的网络结构， 6路并联的网络结构分别用 于确定6种特征向量对应的权重； 根据目标 blendshapes渲染目标人脸图像对应的三维人脸 表情。 权利要求书2页 说明书9页 附图5页 CN 114360018 A 2022.04.15 CN 114360018 A 1.一种三维人脸表情的渲染方法， 其特 征在于， 包括： 提取目标人脸图像中的目标68关键点特征， 其中， 所述目标人脸图像为从输入视频中 提取的图像； 将所述目标68关键点特征输入三维人脸表情迁移模型， 通过所述三维人脸表情迁移模 型输出所述目标68关键点特征对应的目标blendshapes， 其中， 所述三维人脸表情 迁移模型 为使用样本数据训练的回归网络模型， 所述样本数据包括样本68关键点以及对应的样本 blendshapes， 所述三维人脸表情 迁移模型中包括第一卷积网络模块， 所述第一卷积网络模 块包括6路并联的网络结构， 所述6路并联的网络结构分别用于确定6种 特征向量对应的权 重； 根据所述目标blendshapes渲染所述目标 人脸图像对应的三维人脸表情。 2.根据权利要求1所述的方法， 其特征在于， 所述通过所述三维人脸表情迁移模型输出 所述目标68关键点特 征对应的目标blendshapes， 包括： 通过所述三维人脸表情迁移模型内部的6路并联的网络结构， 分别确定以下6种特征对 应的权重： 左边眼部特征， 右边眼部特征， 鼻子特征， 嘴部特征， 脸颊特征， 子特征之间的关 联特征； 将所述6种特征对应的权重进行拼接后输出所述目标68关键点特征对应的目标 blendshapes。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述6种特征对应的权重进行拼接 后输出所述目标68关键点特 征对应的目标blendshapes， 包括： 将所述6种特征对应的权重进行拼接后输入第 二卷积网络模块， 其中， 所述第 二卷积网 络模块与所述第一卷积网络模块串联， 且所述第二卷积网络模块与所述第一卷积网络模块 的内部结构一 致； 将所述第二卷积网络模块输出的6种特 征对应的权 重进行拼接后输入 全连接层； 通过所述全连接层输出 所述目标blendshapes。 4.根据权利要求1所述的方法， 其特征在于， 在将所述目标68关键点特征输入三维人脸 表情迁移模型之前， 所述方法还 包括： 使用样本数据训练所述回归网络模型， 得到所述 三维人脸表情迁移模型。 5.根据权利要求4所述的方法， 其特征在于， 所述使用样本数据训练所述回归网络模 型， 包括： 从样本视频中检测到人脸的68个关键点打印到对应的人脸上， 过滤掉人脸关键点识别 错误的图像帧， 得到所述样本 68关键点以及对应的样本blendshapes； 将所述样本68关键点按照以下6种类别分为6类子特征： 左边眼部特征， 右边眼部特征， 鼻子特征， 嘴部特 征， 脸颊特 征， 子特征之间的关联 特征； 将所述样本68关键点输入所述回归网络模型进行训练， 其中， 所述回归网络模型包括 一层卷积网络模块或至少 两层串联的卷积网络模块， 每一层所述卷积网络模块包括6路并 联的网络结构， 所述6路并联的网络结构分别用于训练所述6种子特 征对应的权 重； 将所述回归网络模型输出的blendshapes作为预测值， 使用所述样本blendshapes作为 真实值进行损失函数的计算， 进 而调整所述回归网络模型的训练参数。 6.根据权利要求5所述的方法， 其特征在于， 所述将所述回归网络模型输出的权　利　要　求　书 1/2 页 2 CN 114360018 A 2blendshapes作为预测值， 使用所述样本blen dshapes作为真实值进行损失函数的计算， 包 括： S1， 将所述回归网络模型输出的所述预测值输入判别器， 通过所述判别器判断为假， 其 中， 所述判别器包括 三层全连接层； S2， 将所述样本blendshapes输入所述判别器， 通过 所述判别器判断为真； 重复步骤S1和步骤S2以完成所述判别器的训练； 通过训练后的判别器反 向训练所述 回归网络模型， 以调整所述 回归网络模型的训练参 数。 7.根据权利要求5所述的方法， 其特征在于， 所述将所述回归网络模型输出的 blendshapes作为预测值， 使用所述样本blen dshapes作为真实值进行损失函数的计算， 包 括： 将第一损 失函数、 第二损 失函数和第三损 失函数进行加权叠加后， 根据叠加后的损 失 函数调整所述回归网络模型 的训练参数， 其中， 所述第一损失函数为所述68关键点对应的 损失函数， 所述第二损失函数为所述左边眼部特征和所述右边眼部特征对应的损失函数， 所述第三损失函数为所述嘴部特 征对应的损失函数。 8.一种三维人脸表情的渲染装置， 其特 征在于， 包括： 提取模块， 配置为提取目标人脸图像 中的目标68关键点特征， 其中， 所述目标人脸图像 为从输入视频中提取的图像； 输入输出模块， 配置为将所述目标68关键点特征输入三维人脸表情迁移模型， 通过所 述三维人脸表情 迁移模型输出所述目标68关键点特征对应的目标blendshapes， 其中， 所述 三维人脸表情迁移模 型为使用样本数据训练的回归网络模型， 所述样 本数据包括样本68关 键点以及 对应的样 本blendshapes， 所述三维人脸表情 迁移模型中包括第一卷积网络模块， 所述第一卷积网络模块包括6路并联的网络结构， 所述6路并联的网络结构分别用于确定6 种特征向量对应的权 重； 渲染模块， 配置为根据所述目标blendshapes渲染所述目标人脸图像对应的三维人脸 表情。 9.一种计算机可读的存储介质， 其特征在于， 所述存储介质中存储有计算机程序， 其 中， 所述计算机程序被设置为 运行时执 行所述权利要求1至7任一项中所述的方法。 10.一种电子装置， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行所述权利要求 1至7任一项中所述的方 法。权　利　要　求　书 2/2 页 3 CN 114360018 A 3