(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111656969.0 (22)申请日 2021.12.3 0 (71)申请人 长讯通信服 务有限公司 地址 510507 广东省广州市天河区粤垦路 628号 (72)发明人 蒋庆坤　阮永桥　张兴　陈炜　 (74)专利代理 机构 北京天奇智新知识产权代理 有限公司 1 1340 代理人 陈新胜 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/52(2022.01) G06V 10/26(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06F 21/32(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于角度估计的人脸步态多模态加权融合 身份识别方法与系统 (57)摘要 本发明公开了一种基于角度估计的人脸步 态多模态加权融合身份识别方法与系统， 所述方 法包括： 采集人脸RGB图像及行人步态图像序列； 在包含人脸的图像数据中定位出人脸位置并裁 剪， 同时进行人脸关键点检测； 利用人脸关键点 坐标集对人脸角度进行估计； 判断人脸图像质 量， 对符合质量的人脸图像进行特征提取， 对不 符合质量的图像进行筛除； 将质量符合的人脸图 像输入至深度卷积神经网络中进行特征提取； 将 采集到的行人步态序列图像进行行人实例分割， 分割出行人轮廓掩膜， 得到对应目标的步态轮廓 图； 通过质量估计模块估计步态轮廓质量， 并对 质量较低的轮廓图进行图像补全； 对符合质量步 态轮廓图序列及补全后的步态轮廓图序列进行 特征提取； 基于人脸角度估计进行多模态加权融 合。 权利要求书2页 说明书4页 附图1页 CN 114333023 A 2022.04.12 CN 114333023 A 1.一种基于角度估计的人脸 步态多模态加权融合身份识别方法， 其特 征在于， 包括： S1采集人脸RGB图像及行 人步态图像序列； S2在包含人脸的图像数据中定位出 人脸位置并裁 剪， 同时进行 人脸关键点检测； S3利用人脸关键点 坐标集对人脸角度进行估计； S4判断人脸图像质量， 对符合质量的人脸图像进行特征提取， 对不符合质量的图像进 行筛除； S5将质量符合的人脸图像输入至深度卷积神经网络中进行 特征提取； S6将采集到的行人步态序列图像进行行人实例分割， 分割出行人轮廓掩膜， 得到对应 目标的步态轮廓图； S7通过质量估计模块估计步态轮廓质量， 并对质量较低的轮廓图进行图像补全； S8对符合质量 步态轮廓图序列及 补全后的步态轮廓图序列进行 特征提取； S9基于人脸角度估计进行多模态加权融合。 2.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法， 其 特征在于， 所述S1中将行走视频或包含人脸的图像数据输入至人脸模块和步态模型进行身 份识别。 3.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法， 其 特征在于， 所述S2中利用 深度神经网络MTCNN进行人脸检测， 得出人脸图像及其关键点坐 标。 4.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法， 其 特征在于， 所述S3具体包括： 利用人脸图像对应的关键点坐标集Psource{u， v}， 与预设的正脸 关键点三维坐标集 Qtarget{Xw， Yw， Zw}进行联合求解得到其旋转矩阵R3×3和平移向量t3×1： 利用opencv的solvePnP函数进行求解； 将的得到的旋转矩阵R3×3转为欧拉角{θx， θy， θz}： θx＝arctan(R32， R33) θz＝arctan(R21， R11) 以此对目标对象进行角度估计。 5.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法， 其 特征在于， 所述S5中将提取到的特征与人脸数据库中已注册的人脸特征计算余弦相似度， 得到人脸匹配分数 Fface。权　利　要　求　书 1/2 页 2 CN 114333023 A 26.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法， 其 特征在于， 所述S7中质量估计模块为一个轻量化的二分类分类器， 具体包括将分割出来的 步态轮廓图输入至轻量化的二分类分类器筛选出质量较低的轮廓图， 进 行腐蚀膨胀图像操 作处理以进行图像补全。 7.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法， 其 特征在于， 所述S8具体包括将符合质量和补全后的步态轮廓图序列输入至GaitSet深度步 态特征提取网络中进 行特征提取， 将提取到的特征与步态数据库中已注册的步态特征计算 余弦相似度， 得到步态匹配分数 Fgait。 8.根据权利要求1所述的基于角度估计的人脸步态多模态加权融合身份识别方法， 其 特征在于， 所述S9具体包括： 将目标对象的拍摄角度定义为0 °、 45°、 90°、 135°， 利用人脸图 像关键点进行的角度估计， 以偏转角度与四个区间角度的最小差值作为目标对象偏转区 间， 目标落于90 °、 45°和135°、 0°时采用不同的加权策略， 如下公式： 其中， Fface为人脸匹配分数， Fgait为步态匹配分数， 在90 °时， 人脸匹配分数的权重与步 态权重的比例为2 ∶ 1最高， 在45 °和135°区间时比例为1∶ 1， 在0 °/180°时为1∶2最低。 9.一种基于角度估计的人脸步态多模态加权融合身份识别系统， 其特征在于， 所述系 统包括： 人脸模块， 用于对采集图像进行人脸检测并裁剪人脸图， 将人脸图像输入至人脸质量 估计模块筛选出质量达标的待识别图像， 利用深度神经网络提取的人脸特征与人脸特征数 据库进行匹配， 得到人脸身份分数； 步态模块， 用于对采集的行人图像序列， 进行行人实例分割得到步态轮廓图， 输入至步 态轮廓质量估计模块， 对符合质量要求的步态轮廓序列图进行步态特征提取， 并与步态数 据库中的步态特征进 行匹配得到步态身份分数， 对质量不满足的步态轮廓图则是利用图像 处理进行补全后进行身份识别； 加权融合模块， 用于将目标对象的拍摄角度定义为0 °、 45°、 90°、 135°四个区间， 利用人 脸图像关键点进行的角度估计， 根据角度偏转区间对人脸和步态的匹配分数进行加权融 合， 得到最终的身份识别结果。权　利　要　求　书 2/2 页 3 CN 114333023 A 3