(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210016006.2 (22)申请日 2022.01.07 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市灵川 县灵田镇桂林电子科技大 学花江校区 (72)发明人 黄龙钊　李玉洁　王浩宇　王旭　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 代理人 陈光磊 (51)Int.Cl. G06V 40/18(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种人眼注视方向预测方法及系统 (57)摘要 本发明公开了一种人眼注视方向预测方法 及系统， 包括： 获取待测的人眼图片及标定人眼 图片； 将待测的所述人眼图片与所述标定人眼图 片同时输入 预先训练的视线预测模 型， 输出待测 的人眼图片中的人眼的注视方向。 本发明通过设 计差分支路从而缓解了个性化问题， 同时提高了 对标定图片的标签信息的利用程度。 本发明通过 残差结构 优化描述待预测人眼图片的特征向量， 在优化同时， 也降低无效图片所造成的误差 。 权利要求书2页 说明书4页 附图2页 CN 114360042 A 2022.04.15 CN 114360042 A 1.一种人眼注视方向预测方法， 其特 征在于， 包括以下步骤： 获取待测的人眼 图片及标定人眼 图片； 将待测的所述人眼图片与 所述标定人眼图片同时输入预先训练 的视线预测模型， 输出 待测的人眼 图片中的人眼的注视方向。 2.根据权利要求1所述的方法， 其特征在于， 所述标定人眼图片为待测对象的带有标签 信息的人眼 图片。 3.根据权利要求1所述的方法， 其特征在于， 将所述人眼图片与 所述标定人眼图片同时 输入预先训练的视线预测模型， 输出待测人眼的注视方向的过程中包括： 对所述人眼图片与所述标定人眼图片分别进行特征提取， 获得特征信息， 所述特征信 息包括人眼 图片特征信息和标定人眼 图片特征信息； 对特征信息进行残差优化获得调节信息向量； 基于所述调节信息向量获取待测人眼 图片中人眼的注视方向。 4.根据权利要求3所述的方法， 其特 征在于， 对特 征信息进行残差优化的过程中包括： 基于所述人眼 图片特征信息和标定人眼 图片特征信息获取调节信息向量； 基于所述特 征信息和所述调节信息向量获取待测人眼 图片中人眼的注视方向。 5.根据权利要求2或4所述的方法， 其特征在于， 基于所述人眼图片特征信息和标定人 眼图片特征信息获取调节信息向量的过程中包括： 基于所述人眼图片特征信 息和所述标定人眼图片特征信 息进行差分计算， 获取注视方 向的差分信息； 基于所述标定人眼中的所述标签信息和所述注视方向的差分信息获得所述调节信息 向量。 6.一种人眼注视方向预测系统， 其特征在于， 包括： 采集模块、 特征提取模块、 残差优化 模块和注视预测模块； 所述采集模块， 用于获取待测目标的人眼图片和待测目标的标定人眼图片， 所述待测 目标的标定人眼 图片为所述待测目标的带有标签信息的人眼 图片； 所述特征提取模块用于对所述人眼图片与 所述标定人眼图片分别进行特征提取， 获得 特征信息， 所述特 征信息包括人眼 图片特征信息和标定人眼 图片特征信息； 所述残差优化模块用于对所述特 征信息进行残差优化， 获得调节信息向量； 所述注视预测模块用于基于所述特征信息和所述调节信息向量预测待测目标的人眼 图片中， 人眼的注视方向。 7.根据权利要求6所述的系统， 其特征在于， 所述特征提取模块采用特征提取网络进行 特征提取， 所述特 征提取网络采用稠密连接方式搭建卷积层。 8.根据权利要求6所述的系统， 其特征在于， 所述残差优化模块包括主支路模块和差分 支路模块； 所述主支路模块用于 输出所述特征信息； 所述差分支路模块用于 输出调节信息向量； 所述主支路模块和所述差分支路模块均由全连接层组成。 9.根据权利要求8所述的系统， 其特征在于， 所述差分支路模块包括： 差分模块和调节 模块；权　利　要　求　书 1/2 页 2 CN 114360042 A 2所述差分模块用于基于所述人眼图片特征信息和所述标定人眼图片特征信息进行差 分计算， 获取注视方向的差分信息； 所述调节模块用于基于所述标定人眼中的所述标签信息和所述注视方向的差分信息 获得所述调节信息向量； 其中所述差分模块和所述调节模块均由三层全连接层组成。权　利　要　求　书 2/2 页 3 CN 114360042 A 3