(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111676773.8 (22)申请日 2021.12.31 (65)同一申请的已公布的文献号 申请公布号 CN 114399790 A (43)申请公布日 2022.04.26 (73)专利权人 中国科学院大学 地址 100049 北京市石景山区玉泉路19号 甲 (72)发明人 韩许盟　张如飞　韩振军　黄志勋　 王岿然　陈皓睿　彭潇珂　余学辉　 陈鹏飞　吴狄　曹光明　叶齐祥　 焦建彬　万方　 (74)专利代理 机构 北京康思博达知识产权代理 事务所(普通 合伙) 11426 专利代理师 潘炜(51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 111950610 A,2020.1 1.17 CN 109978882 A,2019.07.0 5 CN 110322423 A,2019.10.1 1 CN 112949507 A,2021.0 6.11 CN 10759045 6 A,2018.01.16 宿勇.基于人体运动序列的姿态估计与身份 识别. 《CNKI博士电子期刊信息科技 辑》 .2021, 审查员 吴阳 (54)发明名称 一种基于非配准多模态数据的微小人物检 测方法、 介质和设备 (57)摘要 本发明公开了一种基于非配准多模态数据 的微小人物检测方法、 一种计算机可读存储介质 和一种计算机设备， 所述方法包括训练检测模型 用以进行微小人物检测的步骤， 检测模型按照包 括以下步骤的方法获得： 步骤1， 建立非配准多模 态数据集； 步骤2， 对数据集中的 图像进行配对采 样； 步骤3， 获得图像的多模态特征； 步骤4， 对多 模态特征进行融合； 步骤5， 对融合特征进行微 调。 本发明公开的基于非配准多模态数据的微小 人物检测方法， 消除了基于复杂传感器和大量人 力的多模态图像配准的要求， 可以直接使用非配 准的多模态数据进行人物检测， 且检测性能优 越。 权利要求书2页 说明书15页 附图2页 CN 114399790 B 2022.11.18 CN 114399790 B 1.一种基于非配准多模态数据的微小人物检测方法， 其特征在于， 所述方法包括训练 的检测模型用以进行微小人物检测的步骤， 所述检测模型按照包括以下步骤的方法获得： 步骤1， 建立非配准多模态数据集； 步骤2， 对数据集中的图像进行配对 采样； 步骤3， 获得图像的多模态特 征； 步骤4， 对多模态特 征进行融合； 步骤5， 对融合特 征进行微调。 2.根据权利要求1所述的基于非配准多模态数据的微小人物检测方法， 其特 征在于， 步骤2中， 在数据集的各个模态中， 按照相同的捕获时间进行成对 采样， 形成图像对。 3.根据权利要求2所述的基于非配准多模态数据的微小人物检测方法， 其特 征在于， 在采样前， 将数据集的图像进行随机混洗， 以打乱图像序列。 4.根据权利要求1所述的基于非配准多模态数据的微小人物检测方法， 其特 征在于， 步骤3包括以下子步骤： 步骤3‑1， 获得图像的多模态候选特 征； 步骤3‑2， 获得不同模态的实例特 征。 5.根据权利要求 4所述的基于非配准多模态数据的微小人物检测方法， 其特 征在于， 步骤3‑1中， 采用Faster  R‑CNN和FPN两级检测器进行提取图像的多模态特 征。 6.根据权利要求1所述的基于非配准多模态数据的微小人物检测方法， 其特 征在于， 步骤4包括以下子步骤： 步骤4‑1， 获得多模态实例特 征的集合； 步骤4‑2， 将多模态实例特 征进行隐式配准； 步骤4‑3， 将隐式配准的实例特 征进行融合。 7.根据权利要求1所述的基于非配准多模态数据的微小人物检测方法， 其特征在于， 所 述基于非配准多模态数据的微小人物检测方法， 还包括用训练的检测模型进行检测的步 骤， 所述检测包括以下子步骤： 步骤I， 对待检测目标进行采样； 步骤II， 对待检测目标进行检测。 8.根据权利要求7 所述的基于非配准多模态数据的微小人物检测方法， 其特 征在于， 步骤I中， 按照下述 步骤对待检测目标进行采样： 步骤i， 获取待检测目标的多模态图像； 步骤ii， 对多模态图像进行成对 采样。 9.根据权利要求8所述的基于非配准多模态数据的微小人物检测方法， 其特 征在于， 步骤ii中， 按照时间和空间一 致的原则进行成对 采样。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有基于非 配准多模态数据的微小人物检测程序， 所述程序被处理器执行时， 使得处理器执行权利要 求1至9之一所述基于非配准多模态数据的微小人物检测方法的步骤。 11.一种计算机设备， 包括存储器和 处理器， 其特征在于， 所述存储器存储有基于非配权　利　要　求　书 1/2 页 2 CN 114399790 B 2准多模态数据的微小 人物检测程序， 所述程序被处理器执行时， 使得处理器执行权利要求 1 至9之一所述基于非配准多模态数据的微小人物检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 114399790 B 3