(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111662291.7 (22)申请日 2021.12.31 (71)申请人 广东工业大 学 地址 510000 广东省广州市东 风东路729号 (72)发明人 邓炜科　战荫伟　 (74)专利代理 机构 广州中坚知识产权代理事务 所(特殊普通 合伙) 44515 代理人 赖丽娟 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/62(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于人眼视频的瞳孔轨 迹生成方法 (57)摘要 本发明实施例公开了一种基于人眼视频的 瞳孔轨迹生成方法， 包括步骤1： 对各帧图像进行 粗滤波， 进行第一次形态学滤波， 消除红外光照 射在瞳孔处形成的白斑； 步骤2： 计算各帧图像的 最小灰度平均值， 根据最小灰度平均值判断是否 为有效帧， 若是则取阈值； 步骤3： 进行二值化处 理； 步骤4： 再进行第二次形态学滤波， 去除眉毛、 皮肤色素小区域， 并填充二值化后的瞳孔区域； 步骤5： 使用拉普拉斯算子进行边缘检测， 得到瞳 孔的轮廓； 步骤6： 计算瞳孔下极点。 本发明能够 有效处理A>S ×10%的帧， 而不可处理的基本为闭 眼或瞳孔模糊不清的情况； 本发 明可以生成更稳 定、 更准确的眼球运动轨 迹。 权利要求书1页 说明书4页 附图4页 CN 114283176 A 2022.04.05 CN 114283176 A 1.一种基于人眼视频的瞳孔轨 迹生成方法， 其特 征在于， 包括： 步骤1： 对人眼视频中各帧图像进行粗滤波， 进行第一次形态学滤波， 消除红外光照射 在瞳孔处形成的白斑； 步骤2： 计算各帧图像的最小灰度平均值， 根据最小灰度平均值判断是否为有效帧， 若 是则取阈值Eth=Gmin+ ε， ε为误差补偿值， Gmin为最小灰度平均值； 步骤3： 以Eth为阈值， 对 对应的有效帧图像进行二 值化处理； 步骤4： 再进行第二次形态学滤波， 去除眉毛、 皮肤色素小区域， 并填充二值化后的瞳孔 区域； 步骤5： 使用拉普拉斯 算子进行边 缘检测， 得到瞳孔的轮廓； 步骤6： 计算瞳孔下极点lt=(xt,yt)， 先找到瞳孔轮廓的包围盒B={xleft, xright,ybottom,  ytop}， 令xt=(xleft + xright)/2， 瞳孔中轴线则为  x=xt， 瞳孔中轴线与包围盒的最下边y= ybottom的交点即为瞳孔的下极点， 取  yt = ybottom； 最后输出瞳孔轨迹  L = {lt, t =1, ...,  T }。 2.如权利要求1所述的基于人眼视频的瞳孔轨迹生成方法， 其特征在于， 步骤2中采用 以下方法计算 最小灰度平均值Gmin： 给定灰度图像I， 大小为r行c列； I(p)为像素点  p 处的灰度值； 设定一个大小为  n  ×   n 的滑动窗口W={0,  1, ..., n‑1}×{0, 1, ..., n‑1}； 先计算点p处的窗口Wp=W+p的对 角线元素的平均灰度值G(p)= å0 ≤ k < nI(p+(k, k))/n， pÎD={1,...,r ‑n+1}´{1,...,c ‑n+1} 进而求出I的最小灰度平均值Gmin = minpÎD G(p) 如权利要求2所述的基于人眼视频的瞳孔轨迹生成方法， 其特征在于， 步骤2中使用对 角线累加的方法快速计算瞳孔的待选阈值， 建立大小为(r+1)   ×  (c+1) 的矩阵s， 置s的第一行和第一列皆为 零， 令 s(i+1, j+1) = I(i, j)+s(i, j),1≤ i≤r, 1≤ j≤c, 则G(i, j) = [s(i+n, j+n)–s(i, j)]/n, (i, j)ÎD。权　利　要　求　书 1/1 页 2 CN 114283176 A 2基于人眼视频的瞳孔轨 迹生成方 法 技术领域 [0001]本发明涉及眼球跟踪技术领域， 尤其涉及一种基于人眼视频的瞳孔轨迹生成方 法。 背景技术 [0002]眼球跟踪应用比较广泛， 如在人机交互应用中， 利用眼势驱动交互事件； 在医疗和 健康领域， 通过眼动来分析认知行为， 通过眼颤来检查BPPV （benign  paroxysmal   positional  vertigo， 良性阵发性位置性眩晕， 又称为耳石性眩晕， 指头部迅速运动至某一 个或多个特定头位时， 出现短暂的阵发性的眩晕及眼震。 ） 症状； 在用户体验领域， 通过眼动 来分析用户的阅读习惯和专注程度。 要定量测量眼球运动， 通常采用计算机视觉手段， 利用 成像技术采集眼部 视频， 逐帧进行分析， 求得每帧图像中的瞳孔 位置， 获得瞳孔 运动轨迹。 [0003]现有的瞳孔轨迹皆以视频中 瞳孔的中心点依赖时间变化的曲线来表述， 因而瞳孔 轨迹的跟踪技 术就归结为基于图像处 理的瞳孔中心点定位 技术。 [0004]早期的瞳孔中心定位方法中， 比较典型的方法有椭 圆拟合和霍夫圆检测等等。 近 年发展起 来的深度学习方法， 可以获得瞳孔半径和瞳孔中心位置、 检测眨眼过程。 [0005]与本发明最相似的是S.  Wibirama提出的一种改进的椭圆拟合算法。 该方法用随 机取点的方式拟合椭圆， 与其他现有方法相比， 能够在瞳孔受遮挡时 （非全遮挡） 获得更高 的准确率， 生成的瞳孔轨 迹也更平 滑。 [0006]眼裂开合是人眼频繁 发生的现象。 眼裂由开到闭， 特别是眨眼时， 瞳孔可观察面积 变小。 目前， 现有技 术的不足表现在： （1） 假设瞳孔最大面积 为S， 瞳孔可观察面积 为A， 当A<S×80% 时， 现有方法很难获 得准确的定位结果； 当 A<S×60% 时， 深度学习方法对中心位置的估计容易产生错误。 当 A<S ×60% 时， S. Wibirama的方法得到的瞳孔定位的准确率明显下降。 [0007]（2） 对现有方法， 需要额外加入判断瞳孔可观察面积 A 的计算方法， 把 A <S×60%  的帧删掉， 这样就 导致视频中可利用的帧数减少， 同时又增 加了处理开销。 [0008]（3） 使用传统方法时， 图像二值化的阈值难以用统一的算法计算， 需要额外人工调 节。 [0009]（4） 使用深度学习方法时， 对CPU、 GPU的性能要求较高， 且需要大量数据进行模型 训练。 [0010]（5） 使用现有技术时， 一旦估计错误， 生成的瞳孔运动轨迹会存在大量的异常峰 值。 发明内容 [0011]本发明实施例所要解决的技术问题在于， 提供一种基于人眼视频的瞳孔轨迹生成 方法， 以解决瞳孔定位 不准及瞳孔 运动轨迹异常问题。 [0012]为了解决上述技术问题， 本发明实施例提出了一种基于人眼视频的瞳孔轨迹生成说　明　书 1/4 页 3 CN 114283176 A 3