(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111657697.6 (22)申请日 2021.12.3 0 (71)申请人 中国电建集团中南勘测设计 研究院 有限公司 地址 410014 湖南省长 沙市雨花区香樟东 路16号 (72)发明人 刘昊　谭可成　刘承照　马晨哲　 高毓欣　 (74)专利代理 机构 长沙正奇专利事务所有限责 任公司 431 13 代理人 王娟 (51)Int.Cl. G06T 5/00(2006.01) G06T 3/40(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 单幅图像多尺度超分辨重建网络结构及方 法 (57)摘要 本发明公开了一种单幅图像多尺度超分辨 重建网络结构及方法， 本发明网络结构包括： 特 征提取层， 输入为原始图像， 输出连接空洞卷积 神经网络输入层； 级联扩张层， 输入与空洞卷积 神经网络输出层连接； 聚合层， 用于融合所述特 征提取层不同尺度的低层编码信息以及所述级 联扩张层的解码信息； 重建模块， 输入为所述级 联扩张层的输出， 输出为重建后的图像。 本发明 采用后端升采样网络将图像映射变换都在低分 辨率空间进行， 降低了计算复杂度和空间复杂 度。 权利要求书2页 说明书8页 附图6页 CN 114219738 A 2022.03.22 CN 114219738 A 1.一种单幅图像多尺度超分辨重建网络结构， 其特 征在于， 包括： 特征提取层， 输入为原 始图像， 输出 连接空洞卷积神经网络 输入层； 级联扩张层， 输入与空洞卷积神经网络 输出层连接； 聚合层， 用于 融合所述特征提取层提取的不同尺度的低层编码信 息以及级联扩 张层获 取的解码信息； 重建模块， 输入为所述级联扩张层的输出， 输出为重建后的图像。 2.根据权利要求1所述的单 幅图像多尺度超分辨重建网络结构， 其特征在于， 所述特征 提取层包括： 卷积模块， 用于提取原 始图像的浅层特 征； M个残差组件， 与所述卷积模块连接， 用于提取深层特 征； 其中， M≥1。 3.根据权利要求2所述的单 幅图像多尺度超分辨重建网络结构， 其特征在于， 所述级联 扩张层包括M个级联的解码器； 第一个解码器与所述空洞卷积神经网络输出层连接， 第M个 解码器与所述重建模块连接 。 4.根据权利要求3所述的单 幅图像多尺度超分辨重建网络结构， 其特征在于， 所述卷积 模块的输入与第M ‑1个解码器的输出叠加， 作为第M个解码器的输入。 5.根据权利要求4所述的单 幅图像多尺度超分辨重建网络结构， 其特征在于， 所述聚合 层包括N个聚合模块； 其中1≤N≤ M； 当N＝1时， 所述M个残差组件均与该聚合模块连接， 该聚合模块的输出与所述空洞卷积 神经网络的输出叠加， 或者与第i个所述 解码器的输出叠加， 1≤i＜M； 当N＝M时， 每个聚合模块对应与一个所述残差组件连接， 各聚合模块的输出分别对应 与所述空洞卷积神经网络的输出、 第1个所述解码 器的输出、 ……、 第M‑1个所述解码 器的输 出叠加； 当1＜N＜M时， 每个聚合模块对应与至少一个残差组件连接， 各聚合模块的输出对应与 所述空洞卷积神经网络的输出、 第1～第j个所述 解码器的输出叠加； 其中， j≤N。 6.根据权利要求5所述的单幅图像多尺度超分辨重建网络结构， 其特征在于， M＝4； N＝ 3； 第1个聚合模块与4个所述残差组件连接， 第2个聚合模块与第2～第4个残差组件连接， 第 3个聚合模块与第3个和 第4个残差组件连接； 第3个聚合模块的输出与所述空洞卷积神经网 络的输出叠加， 作为第1个解码 器的输入； 第2个聚合模块的输出所述第1个解码 器的输出叠 加， 作为第2个解码器的输入； 第1个聚合模块的输出与所述第2个解码器的输出叠加， 作为 第3个解码器的输入。 7.根据权利要求5所述的单 幅图像多尺度超分辨重建网络结构， 其特征在于， 所述聚合 模块包括L个第一上采样层， 所述L个第一上采样层的输出均与由多个不同倍数上采样层级 联而成的聚合单 元的输入层连接； 其中， L 为聚合模块所接的残差组件的个数。 8.根据权利要求1～7之一所述的单幅图像多尺度超分辨重建网络结构， 其特征在于， 所述空洞卷积神经网络包括多个并联的级联支路， 所述多个并联的级联支路的输入为特征 提取层的输出， 所述多个并联的级联支路的输出与融合模块连接； 所述级联支路包括一个 或多个串联的卷积层。 9.根据权利要求8所述的单 幅图像多尺度超分辨重建网络结构， 其特征在于， 所述级联 支路数量 为5； 5个级联支路上的串联的卷积层个数分别为1、 2、 0、 3、 4。权　利　要　求　书 1/2 页 2 CN 114219738 A 210.一种单幅图像多尺度超分辨重建方法， 其特 征在于， 包括以下步骤： S1、 从图像数据集中获取多张图像作为样本集， 将所述样本集随机划分为训练集和验 证集； S2、 采用所述训练集训练超分辨重建网络， 采用所述验证集调整超分辨重建网络结构 和超参数， 得到 重建模型； 其中， 所述超分辨重建网络为权利要求1～ 9之一所述的网络结构； 优选地， 步骤S1之后， 步骤S2之前， 还 包括： 对所述训练集的图片进行增强处 理。权　利　要　求　书 2/2 页 3 CN 114219738 A 3