(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111664167.4 (22)申请日 2021.12.31 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 张雪　江东　林聚财　殷俊　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. H04N 19/132(2014.01) H04N 19/117(2014.01) H04N 19/176(2014.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 图像滤波、 编解码方法以及相关 设备 (57)摘要 本发明公开了一种图像滤波、 编解码方法以 及相关设备。 包括： 对重建块进行多级下采样得 到重建块的缩略特征； 每一级下采样中分别对尺 寸相同的主特征和辅特征进行下采样， 所采样的 主特征为上一级下采样得到的主特征与辅特征 的融合特征； 对缩略特征进行多级上采样得到重 建块的滤波块； 每一级上采样中分别对尺寸相同 的主特征和辅特征进行上采样， 所采样的主特征 为上一级上采样得到的主特征、 辅特征以及对应 尺寸的下采样主特征的融合特征， 滤波块为最后 一级上采样得到的主特征。 通过上述方式， 本发 明能够优化特征提取能力， 有利于改善滤波效 果。 权利要求书3页 说明书14页 附图11页 CN 114501012 A 2022.05.13 CN 114501012 A 1.一种图像滤波方法， 其特 征在于， 包括： 获取当前编码块的重建块； 对所述重建块进行多级下采样， 得到所述重建块的缩略特征， 其中， 每一级下采样中分 别对尺寸相同的主特征和辅特征进行下采样， 所采样的主 特征为上一级 下采样得到的主 特 征与辅特 征的融合特 征， 所采样的辅特 征为上一级下采样得到的辅特 征； 对所述缩略特征进行多级上采样， 得到所述重建块的滤波块， 其中， 每一级上采样中分 别对尺寸相同的主特征和辅特征进行上采样， 所采样的主 特征为上一级 上采样得到的主 特 征、 辅特征以及对应尺寸的下采样主特征 的融合特征， 所采样的辅特征为上一级上采样得 到的辅特 征， 所述滤波块 为最后一级上采样得到的主特 征。 2.根据权利要求1所述的图像滤波方法， 其特 征在于， 所述方法包括： 将所述重建块输入神经网络， 以对所述重建块进行采样处理， 所述神经网络包括主分 支网络、 辅分支网络和连接单 元； 所述主分支网络包括相连接的多个主下采样单元和多个主上采样单元， 以对主特征进 行多级下采样和多 级上采样； 所述辅分支网络包括相连接的多个辅下采样单元和/或多个辅上采样单元， 以对辅特 征进行多 级下采样和/或多 级上采样； 所述连接单元包括多个第 一连接单元和多个第 二连接单元， 所述多个第 一连接单元分 别用于连接对应的辅下采样单元和主 下采样单元， 以及连接对应的辅上采样单元和主 上采 样单元， 所述多个第二连接单 元分别用于连接对应的主下采样单 元和主上采样单 元。 3.根据权利要求2所述的图像滤波方法， 其特征在于， 多个所述神经网络分别对所述重 建块进行滤波， 每个所述神经网络包括一个主分支网络和 一个辅分支网络， 不同所述神经 网络中的主分支网络 /辅分支网络结构不同， 所述方法包括： 分别利用所述多个神经网络得到所述重建块的多个 基础滤波块； 对所述多个 基础滤波块进行加权融合， 得到所述当前编码块的滤波块。 4.根据权利要求1所述的图像滤波方法， 其特 征在于， 还 包括： 获取所述当前编码块的图像掩膜， 所述图像掩膜用于标识所述当前编码块中各像素点 的待滤波程度； 将所述滤波块与所述图像掩膜进行融合处 理， 得到所述当前编码块的融合滤波块。 5.根据权利要求 4所述的图像滤波方法， 其特 征在于， 所述图像掩膜的尺寸与所述滤波块的尺寸相同； 其中， 所述图像掩膜中对应各像素点的掩膜值包括用于标识是否需要滤波的标识值， 或， 用于标识待滤波程度的程度值。 6.根据权利要求4或5所述的图像滤波方法， 其特征在于， 利用预先构建的掩膜标签指 导神经网络生成所述图像掩膜； 构建所述掩膜标签包括： 获取原始图像中对所述当前编码块对应的图像块的像素值； 比对所述原 始图像中图像块的像素值与所述当前编码块的基础重建块的像素值； 根据所述原始图像中图像块的像素值与所述当前编码块的基础重建块的像素值的像 素值差异对所述掩膜标签进行 赋值。权　利　要　求　书 1/3 页 2 CN 114501012 A 27.根据权利要求1所述的图像滤波方法， 其特 征在于， 所述重建块包括基础重建块或融合重建块， 所述融合重建块为所述基础重建块与边信 息融合后得到的重 建块， 所述边信息包括对所述当前编 码块进行编解码处理过程中获取到 的中间信息 。 8.根据权利要求7 所述的图像滤波方法， 其特 征在于， 所述边信息包括所述当前编码块的预测信 息、 残差信息、 划分信 息中的一种或多种， 所 述划分信息包括划分所得子块的划分边界， 所述子块为对所述当前编码块的重建块、 预测 块或残差块进行划分得到的。 9.根据权利要求8所述的图像滤波方法， 其特 征在于， 利用像素统计值对所述子块的像素进行赋值， 所述像素统计值为所述子块中各像素的 平均值、 最大值、 最小值、 出现次数最多的像素值、 像素值中位数中的任一种； 或 按照像素点的位置对所述子块的像素进行赋值， 使得处于子块边界的像素点的像素值 相同， 其余位置的像素值相同； 或 按照距离 子块边界的距离对所述子块的像素进行 赋值。 10.根据权利要求7 所述的图像滤波方法， 其特 征在于， 所述当前编码块的重建像素包含亮度分量像素、 第 一色度分量像素以及第 二色度分量 像素； 亮度分量的融合重建块为所述亮度分量的基础重建块与所述亮度分量的边信息融合 后得到的重建块； 或 第一色度分量的融合重建块为所述第一色度分量的基础重建块与所述第一色度分量 的边信息融合后得到的重建块； 或 第二色度分量的融合重建块为所述第二色度分量的基础重建块与所述第二色度分量 的边信息融合后得到的重建块； 或 将所述第一色度分量的融合重建块与所述第二色度分量的融合重建块中的至少一者 与所述亮度分量的融合重建块进行融合， 得到综合重建块， 将所述综合重建块作为亮度分 量的融合重建块/第一色度分量的融合重建块/第二色度分量的融合重建块。 11.一种解码方法， 其特 征在于， 包括： 获取编码数据； 对所述编码数据进行解码得到第一 解码图像； 利用如权利要求1 ‑10任一项所述的图像滤波方法对所述第一 解码图像进行 滤波处理。 12.一种编码方法， 其特 征在于， 包括： 获取当前编码块的重建像素值； 利用如权利要求1 ‑10任一项所述的图像滤波方法对所述重建像素值进行 滤波处理； 基于滤波处 理后的重建像素值对所述当前编码块进行编码， 生成编码数据。 13.一种解码器， 其特征在于， 所述解码器包括处理器， 所述处理器用于执行指令以实 现如权利要求1至10任一项所述的滤波方法， 或权利要求1 1所述的解码方法。 14.一种编码器， 其特征在于， 所述编码器包括处理器， 所述处理器用于执行指令以实 现如权利要求1至10任一项所述的滤波方法， 或权利要求12所述的编码方法。 15.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存储指令/权　利　要　求　书 2/3 页 3 CN 114501012 A 3