(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658098.6 (22)申请日 2021.12.31 (71)申请人 北京瑞莱智慧科技有限公司 地址 100084 北京市海淀区清华科技园科 技大厦A座19层 (72)发明人 不公告发明人 　 (74)专利代理 机构 北京开阳星知识产权代理有 限公司 1 1710 代理人 王艳斌 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 动作识别方法、 装置、 设备及存 储介质 (57)摘要 本申请涉及一种动作识别方法、 装置、 设备 及存储介质， 涉及图像处理领域， 其中， 方法包 括： 获取目标用户使用目标工具实施目标工序时 的多个图像帧； 从多个图像帧中确定与第一时刻 对应的目标图像帧、 多个第一参考图像帧和多个 第二参考图像帧， 目标图像帧的起始播放时刻滞 后于多个第一参考图像帧的结束播放时刻， 且结 束播放时刻早于多个第二参考图像帧的起始播 放时刻； 根据目标图像帧、 多个第一参考图像帧、 和多个第二参考图像帧， 得到包括目标工具的工 具关键点位置信息的第一位置序列， 和包括目标 用户的肢体关键点位置信息的第二位置序列； 根 据第一位置序列和第二位置序列， 得到目标用户 的目标动作类型， 由此， 提升了动作类型的识别 精确度和鲁棒 性。 权利要求书2页 说明书15页 附图5页 CN 114005183 A 2022.02.01 CN 114005183 A 1.一种动作识别方法， 其特 征在于， 包括以下步骤： 获取视频流， 所述视频流包括目标用户使用目标工具实施目标工序时的多个图像帧； 从所述多个图像帧中确定与第 一时刻对应的目标图像帧、 第 一图像集合和第 二图像集 合， 所述第一图像集合包括多个第一参考图像 帧， 所述第二图像集合包括多个第二参考图 像帧， 所述目标图像 帧的起始播放时刻滞后于所述多个第一参考图像 帧的结束播放时刻， 且所述目标图像帧的结束播 放时刻早于所述多个第二 参考图像帧的起始播 放时刻； 根据所述目标图像帧、 多个所述第 一参考图像帧、 和多个所述第二参考图像帧， 得到第 一位置序列和第二位置序列， 所述第一位置序列包括所述目标工具的工具关键点位置信 息， 所述第二 位置序列包括所述目标用户的肢体关键点 位置信息； 根据所述第 一位置序列和所述第 二位置序列， 得到所述目标图像帧中所述目标用户的 目标动作类型。 2.如权利要求1所述的动作识别方法， 其特征在于， 在所述根据 所述第一位置序列和所 述第二位置序列， 得到所述目标图像帧中所述目标用户的目标动作类型之后， 还 包括： 获取预设时长内连续多个所述第一时刻对应的多类所述目标动作类型； 按照所述第一时刻由前到后的顺序， 对多类所述目标动作类型排序生成目标排序结 果； 若所述目标排序 结果与所述标准排序 结果不一致， 则获取所述目标用户与 所述目标工 序对应的当前操作得分； 对所述当前操作 得分和预设单位分值相减计算， 并根据 所述相减计算的结果更新所述 当前操作得分。 3.如权利要求2所述的动作识别方法， 其特征在于， 在所述根据 所述相减计算的结果更 新所述当前操作得分之后， 还 包括： 获取所述目标用户实施所述目标工序时的初始操作得分； 计算所述当前操作得分和所述初始操作得分的得分差值； 根据所述得分差值确定所述目标用户实施所述目标工序的出错 率。 4.如权利要求2所述的动作识别方法， 其特征在于， 在所述根据 所述得分差值确定所述 目标用户实施所述目标工序的出错 率之后， 还 包括： 获取所述目标工序的工序标识； 获取所述目标用户的用户标识； 根据所述用户标识、 所述工序标识和所述出错 率生成装配报告。 5.如权利要求2所述的动作识别方法， 其特征在于， 在所述根据 所述相减计算的结果更 新所述当前操作得分之后， 还 包括： 在所述当前操作 得分小于预设得分阈值 时， 则向预设的控制平台发送携带所述目标用 户的用户标识的报警消息 。 6.如权利要求2所述的动作识别方法， 其特征在于， 在目标时段内， 所述目标工序所在 的装配生产线还包括多个工序； 在所述根据所述相减计算的结果更新所述当前操作得分之 后， 所述方法还 包括： 获取操作 得分集合， 所述操作 得分集合包括所述目标工序 所在的装配生产线中各工序 对应的操作总分， 所述操作总分包括所述 目标时段内， 所述装配生产线上 的每个工序对应权　利　要　求　书 1/2 页 2 CN 114005183 A 2的所有用户的所有所述当前操作得分的得分之和； 根据所述操作总分得到所述装配生产线上的每 个工序的热力值分布信息； 根据所述得分集合得到热力值分布信 息， 所述热力值分布信 息包括所述各工序的热力 值； 根据所述装配生产线中各工序对应的所有所述热力值分布信息生成所述装配生产线 的热力图； 向预设的控制平台发送所述热力图。 7.如权利要求2所述的动作识别方法， 其特征在于， 在所述按照所述第 一时刻由前到后 的顺序， 对多类所述目标动作类型排序生成目标排序结果之后， 还 包括： 若所述目标排序 结果与所述标准排序 结果一致， 则获取所述目标用户与所述目标工序 对应的当前操作得分； 对所述当前操作 得分和预设单位分值求和计算， 并根据 所述求和计算的结果更新所述 当前操作得分。 8.一种动作识别装置， 其特 征在于， 包括： 收发模块， 用于获取视频流， 所述视频流包括目标用户使用目标工具实施目标工序时 的多个图像帧； 处理模块， 用于从所述收发模块获取的所述多个图像帧中确定与第 一时刻对应的目标 图像帧、 第一图像集合和第二图像集合； 根据所述 目标图像 帧、 多个所述第一参考图像帧、 和多个所述第二参考图像帧， 得到第一位置序列和 第二位置序列； 其中， 所述第一图像集合 包括多个第一参考图像 帧， 所述第二图像集合包括多个第二参考图像 帧， 所述目标图像 帧 的起始播放时刻滞后于所述多个第一参考图像帧的结束播放时刻， 且所述目标图像帧的结 束播放时刻早于所述多个第二 参考图像帧的起始播 放时刻， 所述第一位置序列包括所述目标工具的工具关键点位置信 息； 所述第 二位置序列包括 所述目标用户的肢体关键点 位置信息； 所述处理模块还用于根据所述第 一位置序列和所述第 二位置序列， 得到所述目标图像 帧中所述目标用户的目标动作类型。 9.一种服 务器， 其特 征在于， 所述 服务器包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 所述处理器， 用于从所述存储器中读取所述可执行指令， 并执行所述可执行指令以实 现上述权利要求1 ‑7中任一所述的动作识别方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序用于执 行上述权利要求1 ‑7中任一所述的动作识别方法。权　利　要　求　书 2/2 页 3 CN 114005183 A 3