(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111671516.5 (22)申请日 2021.12.31 (71)申请人 安徽大学 地址 230039 安徽省合肥市蜀山区肥西路3 号 (72)发明人 刘亮　李成龙　王亮　黄岩　 鹿安东　纪晴　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 代理人 闫客 (51)Int.Cl. G06T 7/246(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于模态竞争协同网络的可见光红外目标 跟踪方法及装置 (57)摘要 本发明公开一种基于模态竞争协同网络的 可见光红外目标跟踪方法及装置， 方法包括： 以 所要跟踪当前帧的上一帧中目标预测位置为中 心， 生成第一候选样本集合； 将第一候选样本集 合输入至训练好的跟踪模型， 得到当前帧的目标 跟踪结果； 跟踪模型包括特征提取网络和目标分 类器； 特征提取网络包括第一提取网络、 第二提 取网络和权重分配网络， 第一提取网络和第二提 取网络均包括VGG ‑M的前三层卷积层， 且每一卷 积层中包含N个相同尺寸的卷积核形成卷积核 组。 通过引入 卷积核组和多权重分配网络来生成 多核动态协同的卷积核， 利用卷积核组中包含的 若干个卷积核， 可 以提取更多样的特征， 达到良 好的多模态视频跟踪效果。 权利要求书2页 说明书12页 附图5页 CN 114332166 A 2022.04.12 CN 114332166 A 1.一种基于模态竞争协同网络的可见光红外目标跟踪方法， 其特征在于， 所述方法包 括： 以所要跟踪当前帧的上一帧中目标预测位置为中心， 生成第一候选样本集合， 所述第 一候选样本集 合中包括可 见光样本和热红外样本； 将所述第一候选样本集合输入至训练好的跟踪模型， 得到所述当前帧的目标跟踪结 果； 其中， 所述跟踪模型包括特征提取网络和目标分类器， 所述特征提取网络的输出与所 述目标分类器连接； 所述特征提取网络包括第一提取网络、 第二提取网络和权重 分配网络， 所述可见光样本和所述热红外样本分别作为所述第一提取网络和所述第二提取网络的输 入， 所述第一提取网络和所述第二提取网络均包括VGG ‑M的前三层卷积层， 且每一卷积层中 包含N个相同尺寸的卷积核形成卷积核组； 所述第一候选样本集合作为所述权重分配网络 的输入， 所述权重 分配网络输出的第一权重组经乘积操作与所述第一提取网络中各所述卷 积核组连接后作为所述第一提取网络的输入， 所述权重 分配网络输出的第二权重组经乘积 操作与所述第二 提取网络中各 所述卷积核组连接后作为所述第二 提取网络的输入。 2.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法， 其特征在 于， 所述第一提取网络和所述第二提取网络中各所述卷积核组后连接有修正线性单元和局 部响应归一 化层。 3.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法， 其特征在 于， 所述权重 分配网络包括全局平均池化层、 模态共享全连接层以及 模态特定全连接层， 所 述第一候选样本集合作为所述全局平均池化层的输入， 所述全局平均池化层的输出经所述 模态共享全连接层以与所述模态特定全连接层的输入连接， 所述模态特定全连接层用于输 出所述第一权 重组和所述第二权 重组。 4.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法， 其特征在 于， 所述目标分类器包括两个域共享全连接层和一个域特定全连接层， 两个所述域共享全 连接层连接后与所述域特定全连接层的输入连接， 所述域特定全连接层输出作为所述当前 帧的目标跟踪结果； 所述域共享全连接层包括依次连接的全连接层、 修正线性单元和神经元随机激活函 数， 所述域特定全连接层包括依次连接的全连接层、 神经 元随机激活函数和Softmax层。 5.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法， 其特征在 于， 在所述将所述第一候选样本集合输入至训练好的跟踪模型， 得到所述当前帧的目标跟 踪结果之后， 还 包括： 将所述当前帧的目标跟踪结果作为粗略结果， 并基于所述粗略结果判断跟踪是否成 功； 若是， 则所述粗略结果输入至目标尺寸回归器， 并将所述目标尺寸回归器的输出作为 所述当前帧的精确跟踪结果， 并使用距离所述当前帧最近的m帧中的目标特征来更新个所 述目标分类 器； 若否， 则使用距离所述当前帧最近的n帧中的目标特征来更新所述目标分类器的参数， 然后跟踪下一帧中的目标， m>n。 6.如权利要求5所述的基于模态竞争协同网络的可见光红外目标跟踪方法， 其特征在权　利　要　求　书 1/2 页 2 CN 114332166 A 2于， 所述在所述以所要跟踪当前帧的上一帧中目标预测位置为中心， 生成第一候选样本集 合之前， 还 包括： 获取所跟踪的可见光 ‑热红外视频的第一帧， 通过所述第一帧中目标的真值框生成第 二候选样本集 合和目标样本集 合； 分别利用所述第二候选样本集合和所述目标样本集合训练所述跟踪模型和所述目标 尺寸回归器。 7.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法， 其特征在 于， 所述方法还 包括： 将所述第一提取网络和所述第二提取网络的输出的特征从通道维度上进行拼接并拉 平， 输入到所述目标分类 器中， 得到所述当前帧的目标跟踪结果。 8.如权利要求4所述的基于模态竞争协同网络的可见光红外目标跟踪方法， 其特征在 于， 所述方法还 包括： 使用Imagenet ‑Vid数据集预训练所述第一提取网络和所述第二提取网络以及所述域 共享全连接层的参数作为网络中的预训练参数； 使用高斯分布初始化所述 域特定全连接层和所述权 重分配网络的参数； 利用已标注好且对齐的可见光 ‑热红外数据集训练所述跟踪模型， 得到训练好的所述 跟踪模型。 9.如权利要求8所述的基于模态竞争协同网络的可见光红外目标跟踪方法， 其特征在 于， 所述利用已标注好且 对齐的可 见光‑热红外数据集训练所述跟踪模型， 包括： 使用最大值保留和随机卷积核死亡训练所述跟踪模型中的各所述卷积核组合所述目 标分类器， 得到第一阶段的预训练模型； 加载所述第 一阶段的预训练模型， 并采用随机构建的训练数据训练所述第 一阶段的预 训练模型的网络参数。 10.一种基于模态竞争协同网络的可见光红外目标跟踪装置， 其特征在于， 所述装置包 括： 样本生成模块， 用于以所要跟踪当前帧的上一帧中目标预测位置为中心， 生成第一候 选样本集 合， 所述第一 候选样本集 合中包括可 见光样本和热红外样本； 目标跟踪模块， 用于将所述第一候选样本集合输入至训练好的跟踪模型， 得到所述当 前帧的目标跟踪结果； 其中， 所述跟踪模型包括特征提取网络和目标分类器， 所述特征提取网络的输出与所 述目标分类器连接； 所述特征提取网络包括第一提取网络、 第二提取网络和权重 分配网络， 所述可见光样本和所述热红外样本分别作为所述第一提取网络和所述第二提取网络的输 入， 所述第一提取网络和所述第二提取网络均包括VGG ‑M的前三层卷积层， 且每一卷积层中 包含N个相同尺寸的卷积核形成卷积核组； 所述第一候选样本集合作为所述权重分配网络 的输入， 所述权重 分配网络输出的第一权重组经乘积操作与所述第一提取网络中各所述卷 积核组连接后作为所述第一提取网络的输入， 所述权重 分配网络输出的第二权重组经乘积 操作与所述第二 提取网络中各 所述卷积核组连接后作为所述第二 提取网络的输入。权　利　要　求　书 2/2 页 3 CN 114332166 A 3