(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658842.2 (22)申请日 2021.12.3 0 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 张吉　吴偶　祝蔚瑶　朱玉　 许增辉　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 杨小凡 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01) (54)发明名称 一种基于梯度的样本学习难度度量方法及 装置 (57)摘要 本发明公开了一种基于梯度的样本学习难 度度量方法及装置， 根据给定训练样本， 构建一 个深度神经网络， 并使用随机梯度下降作为优化 策略进行一次完整训练； 记录这次完整训练 中， K 次迭代的Softmax层前一层的梯度向量； 依次计 算每个样本K次迭代的梯度向量的模， 均值和方 差； 将所得均值和方差进行加权相加， 并用以度 量对应样 本的相对学习难度； 使用局部异常因子 （LoFk） 对各样本的梯度向量的模的均值和方差 组成的数 组进行分析， 视局部异常因子数值大于 1的样本为异常点。 针对异常点， 构建一个 logistic回归模型。 利用上述构建的logistic回 归模型， 找到使异常点的局部异常因子最大的加 权参数。 权利要求书2页 说明书6页 附图2页 CN 114492736 A 2022.05.13 CN 114492736 A 1.一种基于梯度的样本学习难度 度量方法， 其特 征在于包括如下步骤： S1， 采集图像数据作为训练样本， 构建深度神经网络， 并采用随机梯度下降进行训练； S2， 使用深度神经网络， 对图像样本进行一 次完整训练； 记录每个图像样本在一次训练 过程中K次迭代的Softmax层前一层的梯度向量； S3， 计算每 个图像样本K次迭代的梯度的模； S4， 基于每 个图像样本K次迭代的梯度的模， 得到每 个图像样本的学习难度 度量； S5， 在给定样本邻域内样本数和加权参数下， 以两个图像样本之间的学习难度差距为 距离度量， 求得每 个图像样本的局部异常因子， 根据异常因子确定异常点； S6， 针对异常点， 构建线性回归模型， 找到使异常点的局部异常因子最大的参数， 并对 其进行调节， 使学习难度更高的图像样本作为异常点， 与其 他图像样本区分开。 2.根据权利要求1所述的一种基于梯度的样本学习难度度量方法， 其特征在于所述S2 中的K次迭代， 是指各个图像样本在一 次完整的训练过程中， 以 为间隔， 总共K次迭 代的， 在Softmax层前一层的梯度向量。 3.根据权利要求1所述的一种基于梯度的样本学习难度度量方法， 其特征在于所述S2 中的梯度向量表示 为 i表示第i个训练样本， N表示描述样本的特 征个数。 4.根据权利要求1所述的一种基于梯度的样本学习难度度量方法， 其特征在于所述S3 中的模， 是在一维空间上的1 ‑范数和/或2 ‑范数， 即各方向上的分量的绝对值之和。 5.根据权利要求1所述的一种基于梯度的样本学习难度度量方法， 其特征在于所述S3 中的模表示 为 |·|表示模运 算。 6.根据权利要求5所述的一种基于梯度的样本学习难度度量方法， 其特征在于所述S4 基于每个样 本K次迭代的梯度的模 求得梯度的均值 和方差 根据均值 和方差 得到每个样本的学习难度 度量， 包括如下步骤： S41， 均值： S42， 方差： S43， 图像样本的学习难度 度量： μ表示超参数。 7.根据权利要求6所述的一种基于梯度的样本学习难度度量方法， 其特征在于所述S5 包括如下步骤： S51， 基于两个图像样本xi与xj之间学习难度差距为 以及给定的样本邻域内样本数k， 自定义的加权参数μ， 计算样本xi距离 第k近的样本的距离； S52， 定义第k距离邻域 Nk(xi)， 即样本xi的第k距离内所有样本； S53， 给出可达距离reach ‑distancek(xi,xj)， 即若样本xj在Nk(xi)内， 则可达距离为样 本xi的第k距离， 否则为两样本真实距离； S54， 计算局部可达密度：权　利　要　求　书 1/2 页 2 CN 114492736 A 2局部可达密度越小， 其 为异常点的可能性越大； S55， 计算局部 离散因子： 当LoFk>1时， 所述数据对应的图像样本为异常点。 8.根据权利要求1所述的一种基于梯度的样本学习难度度量方法， 其特征在于所述S6 中的线性回归 模型为logistic线性回归 模型。 9.一种基于梯度的样本学习难度度量装置， 其特征在于， 包括一个或多个处理器， 用于 实现权利要求1 ‑8中任一项所述的一种基于梯度的样本学习难度 度量方法。权　利　要　求　书 2/2 页 3 CN 114492736 A 3