(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111657895.2 (22)申请日 2021.12.3 0 (71)申请人 山东大学 地址 250199 山东省济南市历城区山大南 路27号 (72)发明人 元辉　杨烨　刘瑶　姜世奇　 (74)专利代理 机构 济南金迪知识产权代理有限 公司 37219 代理人 杨树云 (51)Int.Cl. G06T 11/40(2006.01) G06T 11/00(2006.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于神经网络的黑白视频上色方法、 系 统、 设备及存 储介质 (57)摘要 本发明涉及一种基于神经网络的黑白视频 上色方法、 系统、 设备及存储介质， 包括： (1)获取 数据集， 对数据集进行预处理， 分割为训练集和 测试集； (2)构建黑白视频上色模型， 并将训练集 输入至黑白视频上色模型进行训练， 将测试集输 入至训练好的黑白视频上色模型进行测试； (3) 将待上色的黑白视频预处理后输入至测试后的 黑白视频上色模型， 得到上色后的彩色视频。 本 发明能获得更为 准确的上色效果。 权利要求书3页 说明书9页 附图1页 CN 114299193 A 2022.04.08 CN 114299193 A 1.一种基于神经网络的黑白视频 上色方法， 其特 征在于， 包括 步骤如下： (1)获取数据集， 对数据集进行 预处理， 分割为训练集和 测试集； (2)构建黑白视频上色模型， 并将步骤(1)得到的训练集输入至黑白视频上色模型进行 训练， 将测试集输入至训练好的黑白视频 上色模型进行测试； (3)将待上色的黑白视频预处理后输入至步骤(2)测试后的黑白视频上色模型， 得到上 色后的彩色视频。 2.根据权利要求1所述的一种基于神经网络的黑白视频上色方法， 其特征在于， 步骤 (2)中， 输入包括待上色黑白帧和参考彩色帧； 待上色黑白帧是连续的多个视频帧， 参考彩 色帧为待上色视频中某一帧的真实值并将其复制多次； 输入至黑 白视频上色模型后， 输出预测的待上色黑 白帧的色度分量， 与真实的色度分 量值进行比较后计算出预测值与真实值之 间的误差， 通过优化器将网络参数往误差减小的 方向训练。 3.根据权利要求1所述的一种基于神经网络的黑白视频上色方法， 其特征在于， 黑白视 频上色模型包括输入端特 征提取网络、 参 考端特征提取网络和上色网络； 输入端特征提取网络提取待上色的黑白视频帧的特征， 待上色的黑白视频帧为连续的 多个视频帧； 通过卷积层之后， 再通过输入端通道注意力机制模块， 赋予提取特征中不同通 道不同的权 重， 提取得到黑白帧的带有权 重的特征即输入特 征； 参考端特征提取网络提取参考的彩色帧的特征， 参考的彩色帧为视频中的某一帧的真 实值并将其复制多次； 通过卷积层之后， 再通过参考端通道注意力机制模块， 赋予提取特征 中不同通道不同的权 重， 提取得到参考帧的带有权 重的特征即参考特征； 将提取到的黑白帧的带有权重的特征与参考帧的带有权重的特征相结合， 并一起送入 上色网络中， 上色 网络将提取到的黑白帧的带有权重的特征与参考帧的带有权重的特征进 行融合并将特 征恢复到原 尺寸， 最终预测出待上色黑白帧的色度分量。 4.根据权利要求3所述的一种基于神经网络的黑白视频上色方法， 其特征在于， 输入端 特征提取网络、 参 考端特征提取网络均包括输入层、 卷积层、 BN层、 激活函数层； 输入层用于输入视频帧； 卷积层用于对输入视频帧进行特征提取， 得到视频帧的特征， 并减小视频帧特征的尺寸大小， 卷积层使用3D卷积， 卷积核大小为3 ×3×3； BN层用于归一 化； 激活函数层用于实现视频帧特 征的非线性映射； 进一步优选的， 激活函数层中， 采用ELU函数作为激活函数， 如式( Ⅰ)所示： 式(I)中， x表示 通过卷积层之后的特 征， α 是可选参数； 进一步优选的， 输入端特 征提取网络用公式(I I)表示为： gin＝σ1(w1×ginput)     (II) 式(II)中， w1表示权重， gin表示提取到的输入端的特征， σ1表示激活函数， w1通过反向传 播更新， i表示输入黑白视频帧的帧数， 表示输 入的第i帧黑白视频帧； 进一步优选的， 参 考端特征提取网络用公式(I II)表示为： gref＝σ2(w2×greference)     (III)权　利　要　求　书 1/3 页 2 CN 114299193 A 2式(III)中， w2表示权重， gref表示提取到的参考端的特征， σ2表示激活函数， w2通过反向 传播更新， x表示参考帧的帧数， 表示输入的第x帧参 考帧。 5.根据权利要求3所述的一种基于神经网络的黑白视频上色方法， 其特征在于， 输入端 通道注意力机制模块用公式(IV)表示 为： ain＝A1(gin)    (IV) 式(IV)中， A1(·)表示输入端通道注意力机制模块， ain表示被赋予不 同通道不 同权重 之后的输入特 征； 参考端通道 注意力机制模块用公式(V)表示 为： aref＝A2(gref)     (V) 式(V)中， A2(·)表示参考端通道注意力机制模 块， aref表示被赋予不同通道不同权重之 后的参考特征。 6.根据权利要求3所述的一种基于神经网络的黑 白视频上色方法， 其特征在于， 用A代 表通道注意力操作， 对于一个C ×T×H×W的特征h来 说， C代表通道数， T代表 帧数， H和W分别代表长度和宽度， 输入端通道注意力机制模块及参考端通道注意力机制模 块的通道 注意力机制用公式(VI)表示 为： 式(VI)中， γ是学习率， es： 代表将特征的维度减少， ed： 代表将特征的维度增 加； 将提取到的黑白帧的带有权重的特征与参考帧的带有权重的特征相结合， 即使用在通 道维度上 结合的方式进行 特征融合， 用公式(VI I)表示为： O(ain， aref)＝ain+aref     (VII) 式(VII)中， O(·)表示将输入特 征与参考特征融合之后的特 征。 7.根据权利要求3所述的一种基于神经网络的黑白视频上色方法， 其特征在于， 上色网 络包括上采样层、 卷积层、 BN层、 激活函数层； 上采样层将输入特征与参考特征融合之后的特征恢 复到原视频帧尺寸； 卷积层用于预 测出黑白视频帧的色度分量； BN层用于归一化， 加速训练过程； 激活函数层用于实现特征的 非线性映射； 上色网络用公式(VI II)表示为： Ouv＝σ3(w3×O(ain， aref))     (VIII) 式(VIII)中， w3表示权重， O(ain， aref)表示输入特征与参考特征融合 之后的特征， σ3表示 激活函数， w3通过反向传播更新， Ouv表示最终预测出的待上色黑白视频帧的色度分量。 8.一种基于神经网络的黑 白视频上色系统， 用于实现权利要求1 ‑7任一所述的基于神 经网络的黑白视频上色方法， 其特征在于， 包括数据集 获取模块、 黑白视频上色模型训练模 块、 上色模块； 所述数据集获取模块用于： 获取数据集， 对数据集进行预处理， 分割为训练集和测试 集； 所述黑白视频上色模型训练模块用于： 构建黑 白视频上色模型， 并将得到的训练集输权　利　要　求　书 2/3 页 3 CN 114299193 A 3