(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111675203.7 (22)申请日 2021.12.31 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 田野　施晓华　卢宏涛　 (74)专利代理 机构 上海伯瑞杰知识产权代理有 限公司 312 27 代理人 孟旭彤 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/269(2017.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多模态两阶段无监督视频异常检测方 法 (57)摘要 本发明公开了一种多模态两阶段无监督异 常视频检测方法。 该方法充分利用了视频光流信 息和记忆网络模块， 实现了端到端无监督视频异 常检测方法。 其中， 两阶段是指先使用多尺度记 忆增强自编码器网络模块分别的输入视频的图 像序列和光流序列进行重建， 再使用重建后的 图 像序列和光流序列， 以及光流的记忆网络特征信 息输入光流特征融合自编码器网络模块， 输出预 测的视频图像， 根据预测图像与真实图像的误 差， 重建光流和真实光流的误差来检测视频异 常。 该方法解决了目前针对视频异常检测的深度 自编码器方法常见的漏检率高， 鲁棒性不足等问 题。 权利要求书2页 说明书8页 附图3页 CN 114332053 A 2022.04.12 CN 114332053 A 1.一种多模态两阶段 无监督视频异常检测方法， 其特 征在于： (S1)光流分支网络包括编码器模块、 多尺度记忆网络模块以及解码器模块； 所述编码 器模块对输入的光流序列进行特征融合得到多尺度特征图； 多尺度记忆网络模块分别对所 述编码器模块输出的各尺度特征图分别进 行重组； 所述解码 器模块通过重组后的各尺度特 征度特征图重建光 流序列并得到光 流分支网络 输出的多尺度特 征图； (S2)图像分支网络包括编码器模块、 多尺度记忆网络模块以及解码器模块； 所述编码 器模块对输入的图像序列进行特征融合得到多尺度特征图； 多尺度记忆网络模块分别对所 述编码器模块输出的各尺度特征图分别进 行重组； 所述解码 器模块通过重组后的各尺度特 征度特征图重建图像序列； (S3)光流特征融合自编码器网络包括编码器模块以及光流特征融合解码器模块； 所述 编码器模块将重建的光流序列以及图像序列进行并联， 并进行特征融合得到特征张量； 光 流特征融合解码器模块对特征张量以及光流分支网络输出的多尺度特征图采用通道融合 注意力机制进行 逐级融合， 以得到预测图像。 2.根据权利要求1所述的一种 多模态两阶段无监督视频异常检测方法， 其特征在于： 所 述光流分支网络以及所述图像分支网络的多尺度 记忆网络模块均包括多个记忆网络模块， 所述记忆网络模块中包括多个记忆网络向量， 所述记忆网络模块对输入的特征图进行重组 过程中， 对输入的特 征图的通道维度向量采用记 忆网络向量进行表示。 3.根据权利要求2所述的一种 多模态两阶段无监督视频异常检测方法， 其特征在于： 对 某个通道维度向量进行重新表示的过程包括以下步骤： 分别求取通道维度向量与各记 忆网络向量的余弦距离； 将记忆网络向量对应的余弦距离采用softmax函数进行归一 化得到权值矩阵； 按照权值矩阵中的权值对各记 忆网络向量进行加权， 得到 重新表示的通道维度向量。 4.根据权利要求3所述的一种多模态两阶段 无监督视频异常检测方法， 其特 征在于： 构建光流分支网络的过程中， 将正常光流序列输入构建光流分支网络得到重建光流序 列； 并以所述权值矩阵的交叉熵损失 与输入光流序列和重建光流序列的均方 误差 加权和为目标函数对光 流分支网络进行优化； 构建图像分支网络的过程中， 将正常图像序列输入构建图像分支网络得到重建图像序 列； 并以所述权值矩阵的交叉熵损失 与输入图像序列和重建图像序列的均方 误差 加权和为目标函数对图像分支网络进行优化。 5.根据权利要求1所述的一种 多模态两阶段无监督视频异常检测方法， 其特征在于： 所 述光流分支网络、 所述图像分支网络以及所述光流特征融合自编 码器网络中的编 码器模块 均通过卷积下采样网络进行 特征融合。 6.根据权利要求1所述的一种 多模态两阶段无监督视频异常检测方法， 其特征在于： 所 述光流分支网络以及所述图像分支网络中的解码器模块均通过反卷积上采样网络进行序 列重建； 反卷积上采样网络包括多个级联的反卷积上采样层； 其中， 第一层反卷积上采样层 采用重组后的通道数最大的特征图作为输入， 其他反卷积上采样层将上一层反卷积上采样 层的输出以及同维度的重组后特 征图进行并联作为输入。 7.根据权利要求1所述的一种 多模态两阶段无监督视频异常检测方法， 其特征在于： 光权　利　要　求　书 1/2 页 2 CN 114332053 A 2流特征融合解码 器模块包括多个级联的特征融合模块； 第一级特征融合模块将所述光流特 征融合自编码器网络的编码器模块所输出的特征张量以及所述光流分支网络输出的相同 维度特征图进 行并联作为输入张量； 其他级 特征融合模块将上一级所述特征融合模块的输 出张量以及所述 光流分支网络 输出的相同维度特 征图进行并联作为输入张量； 在每一个所述特征融合模块中， 对输入张量C和其转置张量CT进行点积得到格拉姆矩阵 D， 再由格拉姆矩阵D通过softmax运算生成权值矩阵E， 权值矩阵E与输入张量C进行点积运 算得到张量F， 向量F与输入张量C进行并联操作， 得到特征融合后的图像特征张量； 对图像 特征张量进行通过反卷积层进行 上采样得到该 特征融合模块的输出张量； 最后一级所述特 征融合模块的输出张量 为预测图像。 8.根据权利要求1所述的一种 多模态两阶段无监督视频异常检测方法， 其特征在于： 根 据重建光流序列得到光流序列质量， 根据预测图像得到预测图像质量， 联合重建光流序列 质量和预测图像质量两个指标判断视频异常。权　利　要　求　书 2/2 页 3 CN 114332053 A 3