(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111655904.4 (22)申请日 2021.12.3 0 (71)申请人 北京航天自动控制研究所 地址 100854 北京市海淀区北京 142信箱 402分箱 (72)发明人 刘晶晶　吕学强　游新冬　韩晶　 刘国明　 (74)专利代理 机构 中国航天科技专利中心 11009 专利代理师 庞静 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合超列的类 激活映射图生成方法 (57)摘要 本发明涉及一种融合超列的类激活映射图 生成方法， 第一步： 根据过滤器通道将网络卷积 层分为低、 中、 高区域， 并提取每个区域最后一个 卷积块作为低、 中、 高区域三个不同层次的信息； 第二步： 对d1、 d2两个层次的输出特征进行上采 样， 使其成为低层次的特征维度， 然后进行深度 拼接， 得到 特征图， 并进行标准化， 使其包含的元 素范围在[0,1]之间； 第三步： 将第二步中得到的 特征图进行分组批处理， 每组特征图采用置信度 算法得到每组特征图的置信度； 第四步： 将所有 组的置信度结果进行拼接， 得到一个多维向量， 对该向量进行软最大(softmax())处理， 将结果 作为每个特征图的贡献度； 第五步： 将贡献度与 对应的特征图相乘， 并将相乘后的特征图相加， 获得最终的类 激活图。 权利要求书1页 说明书6页 附图2页 CN 115063655 A 2022.09.16 CN 115063655 A 1.一种融合超列的类激活映射图生成方法， 其特 征在于包括如下步骤： 第一步： 根据过滤器通道将网络卷积层分为三个区域， 三个区域依顺序标记为低、 中、 高区域， 并提取每个区域最后一个卷积块作为低、 中、 高区域三个不同层次的信息， 标记低 层次的特征维度为d0(a0*a0*b0)， 中层次的特征维度为 d1(a1*a1*b1)， 高层次的特征维度 为d2(a2*a2*b2)； 第二步： 对d1、 d2两个层次的输出特征进行上采样， 使其成为a0*a0的特征维度， 然后对 统一维度后的三层输出特征进 行深度拼接， 得到特征图， 并进 行标准化， 使其包含的元素范 围在[0,1]之间； 第三步： 将第二步中得到的特征图进行分组批处理， 每组特征图均采用置信度算法得 到该组特 征图的置信度； 第四步： 将所有组的置信度 结果进行拼接， 得到一个多维向量， 对该多维向量进行软最 大处理， 将结果作为每 个特征图的贡献度； 第五步： 将第四步获得的贡献度与对应的特征图相乘， 并将相乘后的特征图相加， 获得 最终的类激活图。 2.根据权利要求1所述的方法， 其特 征在于： a0 ≠a1≠a2。 3.根据权利要求1所述的方法， 其特征在于： 第 一步中将网络卷积根据网络学到的不同 特征将网络分为不同的层级， 将网络学到低级特征 的层级认定为低层， 学到纹理特征 的层 级定义为中层， 学到关键语义特 征的层级定义 为高层。 4.根据权利要 求1所述的方法， 其特征在于： 批处理 中的分组优选 范围一般 是2n的形式， 具体设置多少跟当时做实验的效果和所使用的内存利用率相关。 5.根据权利要求1所述的方法， 其特 征在于： 特 征激活图计算过程如下： 其中 表示第K个特 征图对类别C的贡献度； dk表示第K个特 征图； Relu()为线性整流 函数； N()为标准 化处理， 将矩阵数值映射到[0,1]区间； 代表得到的类激活图。权　利　要　求　书 1/1 页 2 CN 115063655 A 2一种融合 超列的类激活映射图生成方 法 技术领域 [0001]本发明属于人工智能领域。 背景技术 [0002]深度学习如火如荼， 神经网络 的可解释性一直是讨论的热点， 而可解释性常和模 型的可视化联系在一起， 可视化帮助我们理解哪些特征可以引导模型对图像进行分类。 目 前人们已经掌握了许多不同的可视化技术， 如可视化卷积神经网络的中间输出(中间激 活)， 可视化卷积神经网络的过滤器 以及可视化图像中的类激活热力图等。 类激活映射图 (Class Activation  Mapping， CAM)的基本原理是针对最后一个卷积层的特征图， 利用反向 传播找出每个通道对应的权重， 权重越大说明对应的特征图越重要。 然后将对应的权重和 特征图相乘就得到最终的类激活图。 CAM方法虽然可以定位， 给出网络判定为某一类的依 据， 并且理论推导很充分， 但是也存在很大的缺点： 它需要对网络进 行二次训练才能得到每 张特征图对应的权重。 Gr ad‑CAM算法将CAM的判别性与基于梯度的像素空间的可视化技术 结合起来， 得到了高分辨率的类别预测解释图， 这种技术不局限于全 卷积网络， 可以用于普 通的CNN结构。 在此基础上的  Grad‑CAM++算法是为了优化Grad ‑CAM的结果， 定位更精确， 也 更适用于图像中含有不止一个目标类别物体的情况。 但是由于Grad ‑CAM和Grad ‑CAM++ 这 类算法是利用梯度来获取特征权重， 而对于深度神经网络来说， 梯度容易产生噪声和饱和 问题， 从而影响效果。 Score ‑CAM算法首次摆脱了对梯度的依赖， 利用模型对于特征图的全 局置信分数来衡量线性权重。 Ab lation‑CAM算法和  SS‑CAM]算法也摆脱了对梯度的依赖， 并且可视化的结果更为聚焦， 背景中的噪声也大大减少。 但是Score ‑CAM、 Ablation ‑CAM和 SS‑CAM这三种算法生成的CAM主要依赖于神经网络最后一层卷积得到的特征， 但是对于网 络中、 低层的特征并未过多关注， 从而容易导致生成的特征图包含的重要信息不全以及边 缘信息丢失等问题。 发明内容 [0003]本发明解决的技术问题是： 克服现有技术的不足， 提供一种融合超列的类激活映 射图生成方法。 [0004]本发明解决技术的方案是： 一种融合超列的类激活映射图生成方法， 包括如下步 骤： [0005]第一步： 根据过滤器通道将网络卷积层分为三个区域， 三个区域依顺序标记为低、 中、 高区域， 并提取每个区域最后一个卷积块作为低、 中、 高区域三个不同层次的信息， 标记 低层次的特征维度为 d0(a0*a0*b0)， 中层次的特征维度为d1(a1*a1*b1)， 高层次的特征维 度为d2(a2*a2*b2)； [0006]第二步： 对d1、 d2两个层次 的输出特征进行上采样， 使其成为a0*a0的特征维度， 然 后对统一维度后的三层输出特征进 行深度拼接， 得到特征图， 并进 行标准化， 使其包含的元 素范围在[0,1]之间；说　明　书 1/6 页 3 CN 115063655 A 3