(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111676997.9 (22)申请日 2021.12.31 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 舒祥波　徐斌倩　葛晓静　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 刘璐 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于自适应增广与表示学习的半监督骨骼 动作识别方法 (57)摘要 本发明提出一种基于自适应增广与表示学 习的半监督骨骼动作识别方法， 包括： 输入包含 关节、 骨骼和差分的原始骨架序列， 通过自适应 增强模块的增强变换矩 阵将其转换为增强骨架 序列； 通过残差卷积编码器中的残差图卷积网络 分别学习增强骨架序列和原始骨架序列中三类 数据各自的表 示， 然后对两组骨架序列中三类数 据进行融合并进行统一表示学习， 得到增强和原 始时空动作特征表示； 将增强和原始时空动作特 征分别输入到多层感知机MLP获取推拉式对比损 失， 再通过全连接层获取计算识别损失； 推拉式 对比损失和识别损 失相结合作为X ‑CAR损失， 对 自适应增强模块和残差图卷积编码器进行学习 训练。 本方法可有效提高基于半监督骨架的动作 识别精度。 权利要求书3页 说明书6页 附图3页 CN 114511924 A 2022.05.17 CN 114511924 A 1.一种基于自适应增广与表示学习的半监督骨骼动作识别方法， 其特征在于， 包括以 下步骤： 步骤1， 输入包含关节、 骨骼和差分的原始骨架序列， 通过自适应增强模块的增强变换 矩阵将其 转换为增强骨架序列； 步骤2， 通过残差卷积编码器中的残差 图卷积网络分别学习增强骨架序列和原始骨架 序列中关节、 骨骼和差分三类数据各自的表示， 然后对两组骨架序列中三类数据进行融合 并进行统一表示学习， 得到增强时空动作特 征和原始时空动作特 征表示； 步骤3， 将增强时空动作特征和原始时空动作特征分别输入到MLP模块中获取推拉式对 比损失， 再通过全连接层获取计算识别损失； 步骤4， 将推拉式对比损失和识别损失相结合作为X ‑CAR损失， 同时对自适应增强模块 和残差图卷积编码器进行 学习训练。 2.根据权利要求1所述的基于自适应增广与表示学习的半监督骨骼动作识别方法， 其 特征在于， 所述 通过自适应增强模块的增强变换矩阵将其 转换为增强骨架序列具体包括： 通过旋转增强变换矩阵对原 始骨架序列S进行旋转增强， 获取旋转增强的骨架序列； 通过剪切增强变换矩阵对旋转增强的骨架序列进行剪切增强， 获取剪切增强的骨架序 列； 通过缩放增强变换矩阵对剪切增强的骨架序列进行缩放增强， 获取最终的增强骨架序 列S'。 3.根据权利要求2所述的基于自适应增广与表示学习的半监督骨骼动作识别方法， 其 特征在于， 所述旋转增强变换矩阵为： 其中rro表示旋转增强的基础增强值， Rro为旋转增强变换矩阵， 为绕X轴的旋转增强 变换矩阵， 为绕Y轴的旋转增强变换矩阵， 为绕Z轴的旋转增强变换矩阵； 旋转增强变换后的坐标为： 其中 表示绕坐标轴旋转增强的可学习的控制因素， i是每次训练中的第i个骨架序 列， [x,y,z]为旋转增强变换 前坐标。 4.根据权利要求3所述的基于自适应增广与表示学习的半监督骨骼动作识别方法， 其 特征在于， 所述剪切 增强变换矩阵Rsh为：权　利　要　求　书 1/3 页 2 CN 114511924 A 2其中rsh表示剪切 增强的基础增强值； 剪切增强变换后的坐标为： 其中 表示剪切 增强的可 学习的控制因素， [x,y,z]为剪切 增强变换 前坐标。 5.根据权利要求4所述的基于自适应增广与表示学习的半监督骨骼动作识别方法， 其 特征在于， 所述缩放增强变换矩阵为： 其中rsc表示缩放增强的基础增强值； 缩放增强变换后的坐标为： 其中 表示缩放增强的可 学习的控制因素， [x,y,z]为缩放增强变换 前坐标。 6.根据权利要求1所述的基于自适应增广与表示学习的半监督骨骼动作识别方法， 其 特征在于， 所述残差图卷积 网络为一个空间图卷积 网络SGCN、 一个时间图卷积 网络TGCN和 多个密集残差连接组成的残差图卷积R ‑GCN模块， 其中时间图卷积 网络TGCN为L ×1的卷积 层， 聚合嵌入在相邻帧中的上 下文表示， 其输出为： 其中D为预定义的最大 图距离， A为骨架矩阵， Λj为对角矩阵， 用于归一 化Aj， i、 k为骨架矩阵A的第i行、 第k列， fin表示图的输入， Wj表示可学习的权 重参数。 7.根据权利要求6所述的基于自适应增广与表示学习的半监督骨骼动作识别方法， 其 特征在于， 所述残差图卷积编码器由BatchNorm、 所述残差图卷积 网络、 融合模块和多个残 差图卷积块连接而成， 所述 步骤2具体包括： 将增强骨架序列和原始骨架序列分别输入至BatchNorm层与所述残差图卷积网络对三 种类型数据进 行处理， 得到 关节、 骨骼和差 分三类数据各自的表示， 并通过融合模块进行早 期融合， 得到增强和原 始骨架序列的数据表示； 将得到的增强和 原始骨架序列的数据表示输入多个残差图卷积块， 得到两组序列的时 空动作特 征表示fa和fb， 所述残差图卷积块 为6个。 8.根据权利要求1所述的基于自适应增广与表示学习的半监督骨骼动作识别方法， 所 述MLP模块由两组线性层、 Batc hNorm和非线性激活函数 连接起来获得。 9.根据权利要求8所述的基于自适应增广与表示学习的半监督骨骼动作识别方法， 其 特征在于， 所述将增强时空动作特征和原始 时空动作特征分别输入到MLP模块获取推拉式 对比损失， 再通过全连接层获取计算识别损失具体包括：权　利　要　求　书 2/3 页 3 CN 114511924 A 3