(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111671429.X (22)申请日 2021.12.31 (71)申请人 中山大学 地址 510000 广东省广州市新港西路13 5号 申请人 中山大学深圳研究院 　 广州智慧城市发展研究院 (72)发明人 胡建国　张月　卢星宇　杨学彬　 吴劲　段志奎　 (74)专利代理 机构 广州专理知识产权代理事务 所(普通合伙) 44493 代理人 曲超 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于跨层注意力机制特征融合的目标 检测方法及系统 (57)摘要 本发明公开了一种基于跨层注意力机制特 征融合的目标检测方法及系统， 使用跨层注意力 特征金字塔， 首先通过对不同特征层进行自级、 自上而下级、 自下而上级这三种特征注意力交互 方式， 不仅有效地进行了远程语义信息交互， 还 捕获位于不同尺度的对象 的非局部上下文， 抑制 无用的背景信息强调有用信息， 将网络的计算资 源更多地集中在对输出结果更重要的特征信息 上； 其次， 对于三种交互方式输出的特征图， 采用 自适应特征融合的方法进行特征融合， 它可以学 习不同特征图之间的联系， 搜索最优融合的操 作。 对于相同的基础网络和检测器， 在通用图像 检测数据集上的检测精度有一定程度的提升 。 权利要求书3页 说明书9页 附图2页 CN 114299281 A 2022.04.08 CN 114299281 A 1.一种基于跨层注意力机制特征融合的目标检测方法， 其特征在于， 所述方法包括以 下步骤： S100， 获取输入的图像； S200， 通过预训练好的基础网络对输入的图像进行 特征提取； S300， 在基础网络的各个阶段产生 不同空间分辨 率和通道数量的特 征图； S400， 使用跨层注意力特征金字塔网络来对基础网络各个阶段得到的特征图进行跨层 融合； S500， 在输出的多个特 征图上分别进行目标的分类和回归， 实现目标的检测。 2.根据权利要求1所述的一种基于跨层注意力机制特征融合的目标检测方法， 其特征 在于， 在S400中， 跨层注意力特征金字塔网络的构建方法为： 使用跨空间和尺度的交互方 式， 包括自级、 自上而 下、 自下而 上三种交互方式， 对于三种交互方式输出的特征图， 对其进 行重排分组， 将同一尺度的特征图归为一组， 并对每组特征图采用自适应特征融合的方法 进行特征融合得到一张特征图， 其中自适应特征融合可以学习不同特征图之间的联系， 搜 索最优融合； 最后， 多张融合后的特 征图构成跨层注意力特 征金字塔网络 。 3.根据权利要求1所述的一种基于跨层注意力机制特征融合的目标检测方法， 其特征 在于， 在S400中， 跨层注意力特征交互主要由三个部分组成： 自级注意力模块、 自上而下注 意力模块、 自下而上级注意力模块。 4.根据权利要求1所述的一种基于跨层注意力机制特征融合的目标检测方法， 其特征 在于， 在S400中， 自级注意力模块分为两个部分： 局 部分组自注意力LSA和全局 子采样自注 意力GSA。 5.根据权利要求4所述的一种基于跨层注意力机制特征融合的目标检测方法， 其特征 在于， 局部分组自注意力LSA包括以下步骤： 对于输入的2维特征图， 将特征图划分成m ×n个子窗口， 接着在每个子窗口内进行以下 步骤： 对于在每 个子窗口， 形成三个向量 Q、 K、 V； 通过公式 得到特征图Fi。 其中， Q、 K、 V为分别选取子窗口的图像矩阵中灰度值之和的值最大的一行、 灰度值之和 的值最小的一行、 图像矩阵中间位置的一行 形成三个向量 Q、 K、 V。 6.根据权利要求5所述的一种基于跨层注意力机制特征融合的目标检测方法， 其特征 在于， 全局子采样自注意力GSA包括以下步骤： 首先对特征图Fi其进行卷积操作得到特 征图F′i； 构建三个向量Q1、 K1、 V1， 其中， Q1是来源于Fi的向量， K1和V1是来源于F ′i的向量； 最后， 将Q1、 K1、 V1通过公式 得到最终的特 征图Pi； 其中， Q1、 K1、 V1为分别选取特征图F ′i的图像矩阵中灰度值之和的值最大的一行、 灰度 值之和的值 最小的一行、 图像矩阵中间位置的一行 形成三个向量 Q1、 K1、 V1。 7.根据权利要求6所述的一种基于跨层注意力机制特征融合的目标检测方法， 其特征 在于， 自上而下注意力模块执 行包括以下步骤： 选取2个特 征图作为高层粗粒度的特 征图Cc和低层细粒度特 征图Cf；权　利　要　求　书 1/3 页 2 CN 114299281 A 2在低层细粒度特征图Cf进行局部分组自注意力LSA， 即把Cf划分m×n个窗口， 并且在每 个子窗口内进行局部分组自注意力LSA， 得到特 征图Ff； 对高层粗粒度特征图Cc进行卷积操作得到特征图Fc， 构建三个向量Q、 K、 V， Q是来源于Ff 的向量， K和V是来源于Fc的向量， 将Q、 K、 V通过公式 得到最终的特征 图Pf。 8.根据权利要求6所述的一种基于跨层注意力机制特征融合的目标检测方法， 其特征 在于， 自下而上注意力模块执 行包括以下步骤： 选取2个特 征图作为高层粗粒度特 征图Cc和低层细粒度特 征图Cf； 对低层细粒度特征图Cf分别沿空间的两个维度x、 y进行平均池化， 得到两个张量Zh＝ (1， y， C)和Zw＝(x， 1， C)， 其中x， y， C为Cf图像大小和通道数； 将两个张量沿着通道 维度进行拼接， 形成张量Z(1， x+y， C)， 通过一个卷积层， 将其下采 样成Z′(1， x1+y1， C)， 再通过归一化层和激活层得到最终的Z ′； 其中， x1、 y1、 C为高层粗粒度 特征图Cc的图像大小和通道数； 将Z′特征图进 行拆分， 得到两个张量Z ′h(1， y1， C)和Z ′w(x1， 1， C)， 将它们分别通过激活 层， 得到两个注意力权 重张量Wh， Ww； 最后将高层粗粒度特 征图Cc与两个注意力权 重张量Wh、 Ww相乘， 得到最终特 征图Pc。 9.根据权利要求8所述的一种基于跨层注意力机制特征融合的目标检测方法， 其特征 在于， 在S40 0中， 进行跨层融合的方法为： 经过跨层注意力特征交互后， 对变换后的特征图进行重排分组， 相同大小的特征图归 为一组， 将每组特征图分别输入到自适应融合模块中得到融合后特征图， 进行后面的目标 分类和回归； 自适应融合模块的融合方法为： 令 为尺度相同特征图上沿通道的在位置(x， y)的特征向量， 则融合后的第l 层特征图为： 表示输出第l层特征图上沿通道的在位置(x， y)的特征向量， 是由基础 网络自适应学习得到的各输入特征图的权重， 为在通道间共享的标量变量， 令 且 有： 其中， 使用 作为控制参数的softmax函数定义 使用1×1卷积 层来分别计算 的权重标量映射 因此可以通过标准的反向传播来学 习。 10.一种基于跨层注意力机制特征融合的目标检测系统， 其特征在于， 所述一种基于跨 层注意力机制特征融合的目标检测系统包括： 处理器、 存储器及存储在所述存储器中并在 所述处理器上运行 的计算机程序， 所述处理器执行所述计算机程序时实现权利要求1中的 一种基于跨层注意力机制特征融合的目标检测方法中的步骤， 所述一种基于跨层注意力机权　利　要　求　书 2/3 页 3 CN 114299281 A 3