(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111653638.1 (22)申请日 2021.12.3 0 (71)申请人 上海壁仞智能科技有限公司 地址 201100 上海市闵行区陈行公路238 8 号16幢13层13 02室 (72)发明人 不公告发明人 　 (74)专利代理 机构 北京市柳沈 律师事务所 11105 代理人 彭久云　罗莎 (51)Int.Cl. G06T 5/00(2006.01) G06T 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理方法、 图像处 理装置和存 储介质 (57)摘要 一种图像处理方法、 图像处理装置和计算机 可读存储介质。 图像处理方法包括： 获取输入 图 像； 利用图像重建网络对输入图像进行N次重建 操作， 以得到输入图像对应的重建图像。 图像重 建网络包括编码子网络、 解码 子网络和连接子网 络， 编码子网络包括至少一个编码块， 每个编码 块包括多个自注意力算子， 解码 子网络包括至少 一个解码块， 每个解码块包括多个自注意力算 子， 连接子网络包括连接层， 一个编码块与一个 解码块通过连接层映射连接。 每次重建操作包 括： 通过编码子网络对编码子网络的输入进行特 征提取处理， 以得到第一特征图和至少一个编码 块的输出； 利用解码子网络和连接子网络对第一 特征图和至少一个编码块的输出进行处理， 以得 到解码子网络的输出。 权利要求书5页 说明书25页 附图6页 CN 114359092 A 2022.04.15 CN 114359092 A 1.一种图像处 理方法， 包括： 获取输入图像； 利用图像重建网络对所述输入图像进行N次重建操作， 以得到所述输入图像对应的重 建图像， 其中， N为大于等于1的正整数， 所述图像重建网络包括编码子网络、 解码子网络和连接 子网络， 所述编码子网络包括至少一个编码块， 每 个编码块包括多个自注意力算子， 所述解码子网络包括至少一个解码块， 每 个解码块包括多个自注意力算子， 所述连接 子网络包括连接层， 所述至少一个编码块中的一个编码块与所述至少一个解码块中的一个解码块通过所 述连接层映射连接， 其中， 每次重建操作包括： 通过所述编码子网络对所述编码子网络的输入进行特征提取处理， 以得到第 一特征图 和所述至少一个编码块的输出； 利用所述解码子网络和所述连接子网络对所述第一特征图和所述至少一个编码块的 输出进行处 理， 以得到所述 解码子网络的输出。 2.根据权利要求1所述的图像处 理方法， 其中， 所述图像重建网络还 包括瓶颈层， 其中， 在所述图像重建网络包括所述 瓶颈层的情况 下， 每次重建操作包括： 通过所述编码子网络对所述编码子网络的输入进行特征提取处理， 以得到所述第 一特 征图和所述至少一个编码块的输出； 利用所述 瓶颈层对所述第一特 征图进行处 理， 以得到第二特 征图； 利用所述解码子网络和所述连接子网络对所述第二特征图和所述至少一个编码块的 输出进行处 理， 以得到所述 解码子网络的输出。 3.根据权利要求2所述的图像处 理方法， 其中， 所述 瓶颈层包括多个自注意力算子， 利用所述 瓶颈层对所述第一特 征图进行处 理， 以得到第二特 征图， 包括： 利用所述瓶颈层的多个自注意力算子对所述第 一特征图进行表示学习， 以得到所述第 二特征图。 4.根据权利要求3所述的图像处理方法， 其中， 所述瓶颈层的多个自注意力算子包括依 次交替连接的基于窗口 的自注意力算子和基于移动窗口 的自注意力算子， 所述瓶颈层中的基于窗口的自注意力算子的数量比基于移动 窗口的自注意力算子的 数量多1。 5.根据权利要求1 ‑4中任一项所述的图像处 理方法， 其中， 当N为1， 对于所述N次重建操作， 所述编码子网络的输入为所述输入图像， 所述解码子 网络的输出为所述重建图像， 当N大于1， 对所述N次重建操作中的第i次重建操作中所述解码子网络的输出进行数据 拟合处理和数据修正处理， 以得到所述N次重 建操作中的第i +1次重建操作中所述编码子网 络的输入， i 为正整数且小于N， i为1时， 所述第i次重建操作中所述编码子网络的输入为所述输入图像， i为N ‑1时， 所 述第i+1次重建操作中所述 解码子网络的输出为所述重建图像。权　利　要　求　书 1/5 页 2 CN 114359092 A 26.根据权利要求2 ‑4中任一项所述的图像处理方法， 其中， 所述连接子网络包括至少一 个连接层， 所述至少一个编 码块与所述至少一个解码块通过所述至少一个连接层一一对应 映射连接， 每个所述连接层用于将具有相同尺寸特 征的编码块和解码块进行映射连接 。 7.根据权利要求1 ‑4中任一项所述的图像处理方法， 其中， 所述解码子网络还包括线性 投影层， 所述至少一个编码块包括依 次连接的多个编码块， 所述至少一个解码块包括依 次 连接的多个解码块， 所述连接 子网络包括多个连接层， 所述多个编码块与所述多个解码块 通过所述多个连接层一 一对应映射连接， 每个所述连接层用于将所述连接层对应的编码块的输出和所述连接层对应的解码块 的输出进行 连接处理， 所述连接层的输出作为所述连接层对应的解码块所连接的下一个解码块的输入或者 所述连接层的输出作为所述线性投影层的输入。 8.根据权利要求1 ‑4中任一项所述的图像处理方法， 其中， 所述编码子网络还包括输出 编码块， 所述至少一个编码块包括输入编码块， 通过所述编码子网络对所述编码子网络的输入进行特征提取处理， 以得到第 一特征图 和所述至少一个编码块的输出， 包括： 通过所述输入编码块对所述编码子网络的输入进行处理， 以得到所述输入编码块的输 出； 利用所述输出编码块对所述输入编码块的输出进行处 理， 以得到所述第一特 征图。 9.根据权利要求8所述的图像处理方法， 其中， 所述输出编码块包括多个自注意力算子 和补丁合并层， 利用所述输出编码块对所述输入编码块的输出进行处理， 以得到所述第一特征图， 包 括： 通过所述输出编码块中的补丁合并层对所述输入编码块的输出进行下采样操作和第 一通道数调整操作， 以得到第一编码特 征图； 通过所述输出编码块中的多个自注意力算子对所述第 一编码特征图进行表示学习， 以 得到所述第一特 征图。 10.根据权利要求9所述的图像处理方法， 其中， 所述补丁合并层包括下采样层和第一 线性层， 所述下采样层用于执行所述下采样操作， 所述第一线性层用于执行所述第一通道 数调整操作； 通过所述输出编码块中的补丁合并层对所述输入编码块的输出进行下采样操作和第 一通道数调整操作， 以得到第一编码特 征图， 包括： 通过所述下采样层对所述输入编码块的输出进行所述下采样操作， 以得到所述下采样 层的输出； 通过所述第 一线性层对所述下采样层的输出进行所述第 一通道数调 整操作， 以得到所 述第一编码特 征图。 11.根据权利要求9所述的图像处理方法， 其中， 所述第一编码特征图的维度和所述第 一特征图的维度相同， 所述第一编码特 征图的尺寸和所述第一特 征图的尺寸相同。 12.根据权利要求1 ‑4中任一项所述的图像处理方法， 其中， 所述至少一个编码块包括权　利　要　求　书 2/5 页 3 CN 114359092 A 3