(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111660869.5 (22)申请日 2021.12.3 0 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 付彦伟　洪羽欣　钱学林　薛向阳　 骆思勉　 (74)专利代理 机构 北京维正专利代理有限公司 11508 代理人 刘美莲 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) G06T 7/246(2017.01) G06N 3/08(2006.01)G06V 10/82(2022.01) (54)发明名称 一种视频动作迁移深度学习 系统和方法 (57)摘要 本发明公开了一种视频动作迁移深度学习 系统和方法， 包括分别与系统控制部连接的人物 视频数据预处理部、 视频特征量化部、 视频特征 重组部、 动作迁移视频生成部， 人物视频数据预 处理部对源图像、 参考图像进行预处理， 提取源 图像中源关键点信息和参考图像中参考关键点 信息； 视频特征量化部分别提取源图像、 参考图 像的深度特征， 进行特征量化， 获得源 图像量化 特征、 参考图像量化特征； 视频特征重组部根据 源关键点、 源图像量化特征、 参考图像量化特征， 预测出目标图像的量化特征； 动作迁移视频生成 部根据目标图像的量化特征， 输出目标图像， 系 统控制部存储程序并进行控制。 本系统用于实现 动作迁移， 保证目标图像的清晰度及分辨 率。 权利要求书2页 说明书9页 附图3页 CN 114399708 A 2022.04.26 CN 114399708 A 1.一种视频动作迁移深度学习系统， 其特征在于： 包括分别与系统控制部连接的人物 视频数据预处理部、 视频特征量化部、 视频特征重组部、 动作迁移视频生成部， 人物视频数 据预处理部用于对源图像数据、 参考图像数据进行预处理， 提取源图像中源关键点信息和 参考图像中参考关键点信息； 视频特征量化部用于 分别提取源图像、 参考图像的深度特征， 并进行特征量化操作， 获得源图像量化特征、 参考图像量化特征； 视频特征重组部用于根据 源关键点、 源图像量化特征、 参考图像量化特征， 预测出目标图像的量化特征； 动作迁移视 频生成部用于根据目标图像的量化特征， 输出目标图像， 系统控制 部用于存储程序并进行 控制。 2.根据权利要求1所述视频动作迁移深度学习系统， 其特征在于： 还包括分别与系统控 制部连接的输入控制部、 视频显示部、 系统通信部， 系统通信部用于不同结构 部之间的数据 交互， 输入控制部用于提供图像数据输入， 视频显示部用于 输出目标图像的动作视频。 3.一种视频动作迁移深度 学习方法， 其特征在于： 建立视频动作迁移模型， 从同一段视 频中抽取二个不同帧图像作为源图像与参考图像， 进行预处理， 分别提取源图像的源关键 点信息、 参考图像的参考关键点信息、 源图像深度特征、 参考图像深度特征， 分别对源图像 深度特征、 参考图像深度特征进行量化， 得到源图像量化特征、 参考图像量化特征， 根据源 关键点信息、 参考关键点信息、 源图像量化特征、 参考图像量化特征进行预测， 得到目标图 像量化特征， 根据目标图像量化特征生成目标图像； 基于视频动作迁移模型的各参数， 对不 同来源的迁移源图像与迁移参 考图像， 采用与建模相同的过程， 进行动作迁移。 4.根据权利要求3所述视频动作迁移深度学习方法， 其特征在于：  对源图像深度特征 进行量化， 得到源图像全局量化特征， 对参考图像深度特征进 行量化， 得到参考图像全局量 化特征； 基于参考图像全局量化特征， 对源图像深度特征进 行再次量化， 得到源图像局部量 化特征； 基于源图像全局量化特征， 对参考图像深度特征进 行再次量化， 得到参考图像局部 量化特征。 5.根据权利要求4所述视频动作迁移深度学习方法， 其特征在于： 计算源图像深度 特征 中的每个特征在参考图像全局 量化特征中的最小欧式距离， 得到源图像局部量化特征； 计 算参考图像深度特征中的每个特征在源图像全局量化特征中的最小欧式距离， 得到参考图 像局部量 化特征。 6.根据权利要求4所述视频动作迁移深度学习方法， 其特征在于： 根据源关键点信息、 参考关键点信息、 源图像全局量化特征、 参考图像局部量化特征进 行预测， 得到目标图像量 化特征。 7.根据权利要求6所述视频动作迁移深度学习方法， 其特征在于： 将源关键点信息、 参 考关键点信息映射为维度特征， 得到关键点特征序列， 根据源图像全局量化特征、 参考图像 局部量化特征分别建立索引序列， 基于关键点特征序列、 索引序列， 在特征重组网络中， 采 用掩码方式， 获得掩码后的最高概率值， 建立目标图像的索引序列， 在 源图像索引序列中预 测目标图像量 化特征索引。 8.根据权利要求7所述视频动作迁移深度学习方法， 其特征在于： 计算目标图像量化特 征索引概率分布值与参考图像局部量化特征索引损失， 得到第二损失函数， 优化特征重组 网络。 9.根据权利要求3所述视频动作迁移深度学习方法， 其特征在于： 建立全局特征库、 编权　利　要　求　书 1/2 页 2 CN 114399708 A 2码器、 解码器， 利用编码器分别提取源图像深度特征、 参考图像深度特征， 利用全局特征库 分别对源图像深度特征、 参考图像深度特征进行量化， 利用解码器对目标图像量化特征进 行解码， 生成目标图像。 10.根据权利要求9所述视频动作迁移深度学习方法， 其特征在于：  根据图像数据设置 全局特征库并初始化， 以深度特征与量化特征之间的最小欧式距离优化全局特征库； 采用 PatchGAN区分生 成图像与真实图像， 采用第一损失函数同时对编码器、 解码 器、 全局特征库 进行训练， 第一损失函数包括对抗损失与量 化重组损失。 11.根据权利要求9所述视频动作迁移深度学习方法， 其特征在于： 编码器包括卷积层、 残差模块、 下采样模块、 自注意力模块、 激活函数， 用于对原始图像的像素特征进行整合变 换， 并进行映射， 得到中间特征图， 解码器与编码器对称， 包括卷积层、 残差模块、 上采样模 块、 自注意力模块、 激活函数， 用于对目标图像量 化特征进行解码。 12.根据权利要求3所述视频动作迁移深度学习方法， 其特征在于： 对源图像与参考图 像进行预 处理， 包括调整图像大小、 利用预训练模 型和数据增强方法， 获取源图像人物关键 点坐标和参 考图像人物关键点 坐标。 13.一种视频动作迁移深度学习终端， 包括存储器、 处理器、 以及存储在所述存储器中 并可在所述处理器上运行 的计算机程序， 其特征在于： 所述处理器执行所述计算机程序时 实现如权利要求1 ‑  12任一所述方法。 14.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被所述处 理器执行时实现如权利要求1 ‑12任一所述方法。权　利　要　求　书 2/2 页 3 CN 114399708 A 3