(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111675120.8 (22)申请日 2021.12.31 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 唐坤　杨力　戴语琴　郭唐仪　 徐永能　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 岑丹 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于Encoder -Decoder注意力网络与LS TM的 异常驾驶行为在线识别方法 (57)摘要 本发明公开了一种基于Encoder ‑Decoder注 意力网络与LSTM的异常驾驶行为在线识别方法。 本发明采用基于LSTM的编码器 ‑解码器、 注意力 机制以及基于SV M的分类器3个主要模块构成， 包 括输入编码、 注意力学习、 特征解码、 序列重构、 残差计算与驾驶行为分类。 本发 明以手机多传感 器融合数据为基础， 在驾驶行为数据特性与行为 模式分析的基础上， 融合Encoder ‑Decoder深度 学习模型、 Attention注意力机制与 SVM分类模型 对异常驾驶行为进行识别。 本发 明具有数据易获 取、 非侵入、 成本低等优点， 不仅考虑了驾驶行为 的时间相关性， 而且考虑了不同时刻的差异性， 能够以端到端的方式对异常驾驶行为进行在线 识别， 可为驾驶行为评估与安全 预警提供方法基 础， 对智能驾驶系统设计、 交通安全决策制定具 有显著意 义。 权利要求书2页 说明书7页 附图3页 CN 114548216 A 2022.05.27 CN 114548216 A 1.基于Encoder ‑Decoder注意力网络与LSTM的异常驾驶行为在线识别方法， 其特征在 于， 具体步骤为： 步骤1、 获取手机传感器数据， 并进行预处理与正态分布变换， 得到驾驶行为时间序列 数据； 步骤2、 构建Encoder ‑Decoder注意力网络与LSTM融合模型并对其进行训练； 步骤3、 利用训练好的模型进行异常驾驶行为识别。 2.根据权利要求1所述的基于Encoder ‑Decoder注意力网络与LSTM的异常驾驶行为在 线识别方法， 其特 征在于， 对手机传感器数据进行 预处理与正态分布变换的具体步骤为： 步骤1.1： 缺失数据处理： 查找缺失数据记录， 确定数据缺失性质， 对确实数据进行补 全、 剔除等处 理； 步骤1.2： 数据归一化： 采用最大最小值归一化方法对各个特征维度 上的数据进行归一 化， 计算方法如下： 其中， valuei为第i个值， valuemax为当前列最大值， valuemin为当前列最小值， S为标准化 后的值； 步骤1.3： 非平衡数据处理： 采用重采样的方法对正常驾驶数据进行下采样， 对异常驾 驶数据进行 上采样； 步骤1.4： 特征分布正态化变换： 确定数据样本具有正态分布的特点， 如果不具有， 则利 用映射关系对其进行转 化使其具有正态分布的特点。 3.根据权利要求1所述的基于Encoder ‑Decoder注意力网络与LSTM的异常驾驶行为在 线识别方法， 其特征在于， 所述Encoder ‑Decoder注意力网络与LSTM融合模型包括编码器模 块、 注意力学习模块、 解码器模块、 序列重构模块、 重构误差模块以及SVM分类 器模块。 4.根据权利要求1～3任一所述的基于Encoder ‑Decoder注意力网络与LSTM的异常驾驶 行为在线识别方法， 其特征在于， 利用Encoder ‑Decoder注意力网络与LSTM融合模型进行异 常驾驶行为识别的具体步骤为： 步骤4.1： 将时间序列数据输入编码器， 编码器 计算各时刻隐含层状态； 步骤4.2： 注意力学习模块根据注意力权重对编码器中的所有隐含层状态进行加权求 和， 得到t时刻的语义向量； 步骤4.3： 将t时刻的语义向量与解码器原隐含层状态拼接在一起， 得到解码器新的隐 含层状态； 步骤4.4： 利用融合注意力的解码器隐含层状态得到 重构序列； 步骤4.5： 针对各时刻的重构序列与原始序列进行残差计算， 得到各时刻的重构误差， 拼接得到混合分类特 征向量； 步骤4.6： 将混合分类特征向量作 为SVM分类器输入， 利用SVM分类器对驾驶行为进行分 类得到分类结果实现异常驾驶行为识别。 5.根据权利要求4所述的基于Encoder ‑Decoder注意力网络与LSTM的异常驾驶行为在 线识别方法， 其特 征在于， 编码器 计算各时刻隐含层状态的具体 计算公式为：权　利　要　求　书 1/2 页 2 CN 114548216 A 2式中， f为编码器， 为t时刻的隐含层状态， xt为时间序列数据。 6.根据权利要求4所述的基于Encoder ‑Decoder注意力网络与LSTM的异常驾驶行为在 线识别方法， 其特征在于， 注意力学习模块利用注意力权重对编码器中的所有隐含层状态 进行加权求和， 得到t时刻的语义向量ct， 具体计算公式为： 式中， at(i)表示编码器第i个隐含层状态 对解码器t时刻隐含层状态 的权重。 7.根据权利要求6所述的基于Encoder ‑Decoder注意力网络与LSTM的异常驾驶行为在 线识别方法， 其特征在于， 编码器第i个隐含层状态 对解码器t时刻隐含层状态 的权 重由解码器在t时刻的 隐含层状态与编 码器在i时刻的隐含层状态之 间的相关性得分确定， 具体计算公式为： 式中， Wa为权重矩阵， exp( ·)为指数函数， T为序列长度。 8.根据权利要求4所述的基于Encoder ‑Decoder注意力网络与LSTM的异常驾驶行为在 线识别方法， 其特征在于， 利用融合注意力的解码器隐含层状态st得到重构序列 具体计 算公式为： 式中， Who为解码器隐含层输出系数矩阵， bh0为偏置项。 9.根据权利要求8所述的基于Encoder ‑Decoder注意力网络与LSTM的异常驾驶行为在 线识别方法， 其特 征在于， 融合注意力的解码器隐含层状态st， 具体计算公式为： 式中， Wc为转换矩阵， 为解码器t时刻隐含层状态， ct为t时刻的语义向量。权　利　要　求　书 2/2 页 3 CN 114548216 A 3