(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111683696.9 (22)申请日 2021.12.31 (71)申请人 深存科技 （无锡） 有限公司 地址 214115 江苏省无锡市新吴区弘 毅路 10号金乾 座401、 402室 (72)发明人 陆能　 (74)专利代理 机构 北京市中伦律师事务所 11410 专利代理师 钟锦舜 (51)Int.Cl. G06N 3/08(2006.01) G06N 5/04(2006.01) G06K 9/62(2022.01) G06V 10/70(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) (54)发明名称 训练深度学习模 型的方法和装置、 电子设备 及存储介质 (57)摘要 本公开提供用 于训练深度学习模型的方法 和装置、 电子设备及存储介质， 该方法包括： 使用 第一训练数据集开始对待训练模型进行迭代训 练； 筛选推理错误的样本数据和推理正确的样本 数据； 对所筛选的推理错误的样 本数据进行数据 增强； 基于经所述数据增强的推理错误的样本数 据和所筛选的推理正确的样本数据生成第二训 练数据集； 以及在使用所述第二训练数据集进行 进一步训练后， 使用所述第一训练数据集继续进 行迭代训练。 本公开能够在深度学习模型的训练 过程中基于推理错误的样本数据进行动态调整 生成新的训练数据集， 从而优化深度学习模型的 训练过程， 进而改善深度学习模 型的训练效率和 训练后的预测性能。 权利要求书2页 说明书9页 附图2页 CN 114492788 A 2022.05.13 CN 114492788 A 1.一种训练深度学习模型的方法， 包括： 使用第一训练数据集 开始对待训练模型进行迭代训练； 筛选推理错 误的样本数据和推理正确的样本数据； 对所筛选的推理错 误的样本数据进行 数据增强； 基于经所述数据增强的推理错误的样本数据和所筛选的推理正确的样本数据生成第 二训练数据集； 以及 在使用所述第 二训练数据集进行进一步训练后， 使用所述第 一训练数据集继续进行迭 代训练。 2.根据权利要求1所述的方法， 其中所述筛选推理错误的样本数据和推理正确的样本 数据包括： 基于在至少一轮的迭代训练中推理错误的样本数据构 成推理错误信 息集， 其中所述推 理错误信息集中包括所述推理错误的样本数据的索引和在所述至少一轮的迭代训练中的 推理错误置信度； 以及 在所述至少一轮的迭代训练中选择推理正确的样本数据以构 成推理正确信 息集， 使得 所选的推理正确的样本数据在标签信息和推理正确置信度方面分布基本均衡， 其中所述推 理正确信息集包括所选择的推理正确的样本数据的索引。 3.根据权利要求2所述的方法， 其中所述对所筛选的推理错误的样本数据进行数据增 强包括： 基于所述推理错 误信息集中的索引获取 所筛选的推理错 误的样本数据， 其中所述对所筛 选的推理错 误的样本数据进行 数据增强还 包括： 对于每个所获取的推理错误的样本数据， 进行与基于在所述推理错误信 息集中的推理 错误重复次数和各自的推理错 误置信度正相关的数据增强； 和/或 对于每个所获取的推理错误的样本数据， 基于与 所述推理错误置信度正相关的加权值 进行数据增强。 4.根据权利要求2所述的方法， 其中在基于经所述数据增强的推理错误的样本数据和 所筛选的推理正确的样本数据生成第二训练数据集之前， 所述方法还 包括： 基于所述推理正确信息集中的索引获取 所筛选的推理正确的样本数据。 5.根据权利要求1所述的方法， 其中使用所述第二训练数据集进行至少一轮的训练。 6.根据权利要求1所述的方法， 其中在使用所述第 二训练数据集进行进一步训练后， 使 用所述第一训练数据集继续进行迭代训练， 直到训练完成。 7.根据权利要求1所述的方法， 还包括： 以迭代方式重复执行训练优化操作， 直到训练 完成， 其中所述训练优化操作包括： 筛选推理错 误的样本数据和推理正确的样本数据； 对所筛选的推理错 误的样本数据进行 数据增强； 基于经所述数据增强的推理错误的样本数据和所筛选的推理正确的样本数据生成优 化训练数据集； 以及 在使用所述优化训练数据集进行进一步训练后， 使用所述第 一训练数据集继续进行迭 代训练。 8.根据权利要求2所述的方法， 其中所述基于在至少一轮的迭代训练中推理错误的样 本数据构成推理错 误信息集包括：权　利　要　求　书 1/2 页 2 CN 114492788 A 2在确定第N轮迭代训练的结果满足预设条件时， 从第N+1轮迭代训练开始确定每轮迭代 训练中推理错误的样本数据以用于构成所述推理错误信息集， 直到基于所述推理错误信息 集确定截止到第M轮迭代训练的总推理错误次数超过预设次数， 其中N是不小于1的正整 数， M是大于N的正整数。 9.根据权利要求8所述的方法， 其中所述在所述至少一轮的迭代训练中选择推理正确 的样本数据以构成推理正确信息集包括： 在基于所述推理错误信 息集确定截止到第M轮迭代训练 的总推理错误 次数超过预设次 数时， 在第M轮迭代训练中确定推理正确的样本数据并在从中进行选择。 10.一种用于训练深度学习模型的装置， 包括训练单元、 数据筛选单元、 数据增强单元 以及生成单 元， 其中： 所述训练单 元用于使用第一训练数据集 开始对待训练模型进行迭代训练； 所述数据筛 选单元用于筛选推理错 误的样本数据和推理正确的样本数据； 所述数据增强单 元用于对所筛 选的推理错 误的样本数据进行 数据增强； 所述生成单元用于基于经所述数据增强的推理错误的样本数据和所筛选的推理正确 的样本数据生成第二训练数据集； 所述训练单元还用于使用所述第 二训练数据集进行进一步训练， 并且还用于在所述进 一步训练后使用所述第一训练数据集继续进行迭代训练。 11.一种电子设备， 包括： 至少一个处理器； 以及与所述至少一个处理器通信连接的存 储器， 其中所述存储器存储有可被所述至少一个处理器执行 的指令， 所述指令在被所述至 少一个处理器执行时使得所述电子设备执行如权利要求1至9中任一项所述的训练深度学 习模型的方法。 12.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中所述计算机指令用于 使计算机执 行如权利要求1至9中任一项所述的训练深度学习模型的方法。权　利　要　求　书 2/2 页 3 CN 114492788 A 3