(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111669199.3 (22)申请日 2021.12.31 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 刘泽锋　韩豫　吴晗　 (51)Int.Cl. G06V 20/52(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种面向险兆推理的工人临边坠落智能识 别系统及方法 (57)摘要 本发明公布了一种面向险兆推理的工人临 边坠落智能识别系统及方法， 通过提取临边坠落 场景关键对象的特征， 明确各 临边危险场景的空 间范围； 按照主体类、 属性类、 客体类、 位置类、 行 为状态类进行知识结构化组合并且通过图数据 库构建临边区域险兆知 识图谱； 对临边坠落危险 区域以及工人的行为状态的特征进行视觉识别； 根据视觉识别结果利用图数据库推理对工人临 边作业的安全状态给予评价。 本发 明结合工人的 行为状态， 利用构建好的临边区域险兆知识规 则， 在智能视觉检测的基础上对临边险兆事件进 行识别。 发明智 能化水平高， 具备高度的拓展性 和实用价 值。 权利要求书3页 说明书7页 附图4页 CN 114359831 A 2022.04.15 CN 114359831 A 1.一种面向险兆推理的工人临边坠落智能识别系统， 其特征在于， 包括施工临边作业 图像采集单元、 语义数据库模型、 临边危险区域提取模型、 工人行为状态提取模 型和语义推 理模型级联而成； 所述施工临边作业图像采集单元用于采集施工临边作业图像； 并分别 输入临边危险区 域提取模型、 工人 行为状态提取模型； 所述临边危险区域提取模型包括临边区域空间范围划分模块和临边危险区域特征提 取模块， 其中， 利用临边区域空间范围划分模块对输入的施工临边作业图像进行临边区域 空间范围划分， 利用临边 危险区域特 征提取模块 提取危险区域及危险区域内的客体； 所述工人行为状态提取模型包括建筑工人属性提取模块和工人行为特征提取模块； 其 中， 建筑工人属 性提取模块对输入的施工临边作业图像中工人的属 性进行提取； 工人行为 特征提取模块对输入的施工临边作业图像进行 特征提取， 特 征即工人 行为状态； 所述语义推理模型包括视觉坐标关系挖掘模块、 视觉识别结果语义化模块和数据库语 义推理模块； 视觉坐标关系 挖掘模块接收工人行为状态提取模型和临边危险区域提取模型 输出的结果， 并分别输出危险区域、 客体、 工人属性和工人行为状态的视觉边框坐标； 计算 视觉边框坐标之 间的交并比， 基于交并比获得危险区域、 客体、 工人属性和工人行为状态之 间的空间位置关系； 所述视觉识别结果语义化模块根据 交并比转换为语义表达； 并将语义 表达输入数据库语义推理模块； 数据库语义推理模块根据语义数据库模型内的临边坠落险 兆知识规则， 对视觉识别结果语义化模块输出 的语义表达进行险兆推理， 进而判断施工临 边作业图像中是否出现险兆事 件； 所述语义数据库模型是由临边坠落险兆知识规则元素构 成的知识图谱， 临边坠落险兆 知识规则以临边事故致因 理论和险兆理论 为基础， 知识图谱将作为险兆事 件的判别依据。 2.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统， 其特征在于， 所述 知识图谱是由主体类、 属性类、 客体类、 位置类和行为状态类构成， 并由主体类、 属性类、 客 体类、 位置类和行为状态类排列组合获得语义信息元 素。 3.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统， 其特征在于， 临边 危险区域特 征提取模块 提取出的客体为防护措施。 4.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统， 其特征在于， 建筑 工人属性提取模块提取出 的工人属 性包括无安全帽无安全带、 无安全帽有安全带、 有安全 帽无安全带、 有安全帽有安全带。 5.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统， 其特征在于， 所述 险兆事件包括如下三大类： 第一大类：“无安全帽无安全带/无安全帽有安全带/有安全帽有安全带/有安全帽无安 全带”的“工人”在“无防护措施 ”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边 ” “站立/行走/倚靠/攀爬/蹲坐”； 第二大类： “无安全帽无安全带/无安全帽有安全带 ”的“工人”在“有防护措施 ”的“楼梯 临边/楼梯侧边/沟槽临边/ 屋面临边/阳台临边 ” “站立/行走/倚靠/攀爬/蹲坐”； 第三大类： “有安全帽无安全带/有安全帽有安全带 ”的“工人”在“有防护措施 ”的“楼梯 临边/楼梯侧边/沟槽临边/ 屋面临边/阳台临边 ” “攀爬”； 将上述三大类均设置为临边 坠落险兆知识规则中的险兆事 件。权　利　要　求　书 1/3 页 2 CN 114359831 A 26.一种面向险兆推理的工人临边 坠落智能识别方法， 其特 征在于， 包括如下步骤： 步骤1， 采集施工临边作业图； 步骤2， 搭建临边危险区域提取模型， 利用所搭建的临边危险区域提取模型实现对施工 临边作业图像进行临边 危险区域及危险区域内客体提取； 步骤3， 搭建工人行为状态提取模型， 利用所搭建的工人行为状态提取模型实现对施工 临边作业图进行工人属性、 行为状态提取； 步骤4， 基于工人行为状态提取模型和临边危险区域提取模型输出的结果， 输出危险区 域、 客体、 工人属性和工人行为状态的视觉边框坐标， 计算视觉边框坐标之间的交并比； 基 于交并比获得危险区域、 客体、 工人属性和工人行为状态之间的空间位置 关系， 实现视觉坐 标关系挖掘， 并将视觉识别 结果语义化； 数据库语义推理对语义化的识别 结果使用Cypher 语言进行推理， 以临边险兆事 件知识图谱为标准， 查询结果中是否出现临边险兆事 件。 7.根据权利要求6所述的一种面向险兆推理的工人临边坠落智能识别方法， 其特征在 于， 步骤2的过程如下： S1： 将施工临边区作 业图像增广后以构 建临边作 业原图像数据集； 利用labelme工具进 行临边危险区域以及防护措施标注， 生成json文件以完成临边危险区域标注数据集的构 建。 将临边作业原图像数据集和临边危险区域标注数据集统称为临边危险区域图像数据 集； S2： 使用Mask ‑RCNN载入构建好的临边危险区域图像数据 集对网络模型进行训练， 完成 临边危险区域 提取模型的搭建； S3： 将所采集的施工临边作业图输入训练好的模型中， 利用模型提取临边 危险区域。 8.根据权利要求6所述的一种面向险兆推理的工人临边坠落智能识别方法， 其特征在 于， 步骤3的过程如下： S1： 将施工临边区作 业图像增广后以构 建临边作 业原图像数据集； 利用labelme工具进 行工人属性以及三点骨骼成形标注， 生成json文件以完成工人属性、 行为状态标注数据集 的构建； 将临边作业原图像数据集和工人属性、 行为状态标注数据集统称为工人属性、 行为 状态图像数据集； S2： 载入构建好的工人属性、 行为状态图像数据集对 网络模型进行训练， 在原始目标检 测Fast‑RCNN的框架前加入骨骼关键点识别， 采用Openpose的骨骼关键点识别网络， 利用 MobileNetV2轻型卷积神经网络替换原VGG ‑19网络， 用于对左右踝骨和骶骨的识别， 对关键 点实现连线以构成三角形； 完成工人 行为状态提取模型的搭建； S3： 将所采集的施工临边作业图输入训练好的模型中， 利用模型提取工人属性、 行为状 态。 9.根据权利要求8所述的一种面向险兆推理的工人临边坠落智能识别方法， 其特征在 于， 工人行为状态 提取与分类采用三点骨骼连接形状提取， 三点骨骼包括左右踝骨和骶骨， 根据三点骨骼连线 形成的三角形特征进 行行为特征提取； 工人行为状态分类包括： 站立、 行 走、 倚靠、 攀爬、 蹲坐， 当左右踝骨点几乎重合且与骶骨相距较大时， 提取为站立状态； 当骶 骨连接两边接近相等且远大于第三边， 同时三角形所在平面与参照地面垂直时， 提取为行 走状态； 当骶骨连接两边接近相等且远大于第三边， 同时三角形所在平面与参照地面不垂 直时， 提取为倚靠状态； 当骶骨连接两边相差较大时， 提取为攀爬状态， 当三角形所在平面权　利　要　求　书 2/3 页 3 CN 114359831 A 3