(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111662250.8 (22)申请日 2021.12.3 0 (71)申请人 北京诺司时空科技有限公司 地址 100020 北京市朝阳区利泽中园10 6号 楼2层B202-2 申请人 哈尔滨工业大 学 (72)发明人 王宏志　李同欣　张凯欣　郑博　 梁栋　叶天生　燕钰　丁小欧　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 代理人 时起磊 (51)Int.Cl. G06F 16/2458(2019.01) G06F 16/22(2019.01) G06F 16/25(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的自动化时序数据库索引推 荐方法、 存 储介质及设备 (57)摘要 基于深度学习的自动化时序数据库索引推 荐方法、 存储介质及设备， 属于数据库技术领域。 为了目前针对时序数据库还没有有效可行的自 动化索引推荐方法的问题。 本发 明所述方法通过 强化学习模 型进行时序数据库的索引推荐， 强化 学习模型的代理负责决策的过程； 代理与数据库 的环境模型进行交互， 环境模型计算代理因其决 策而获得的状态转换和代价； DBMS接口负责执行 数据库的创建、 升级或删除动作并获取当前的索 引配置的统计信息。 本发明主要用于时序数据库 的索引推荐。 权利要求书2页 说明书7页 附图1页 CN 114328669 A 2022.04.12 CN 114328669 A 1.基于深度学习的自动化时序数据库索引推荐方法， 其特征在于， 通过强化学习模型 进行时序数据库的索引推荐， 具体包括以下步骤： 强化学习模型的代理RL  Agent负责决策的过程； 代理与数据库的环境模型 Environment进行交互， 环 境模型计算代理因其决策而获得的状态转换和代价； DBMS接口负 责执行数据库的创建、 升级或删除动作并获取当前的索引配置的统计信息； 环境模型包括状态、 动作和代价； 将状态表示为二维 向量 其中两个维度分别为index  number和column  number； index   number代表当前的索引的编号， co lumn number表示当前列的编号； 动作为向量 动作行为包括： 创建索引、 升级索引、 删除索引和不进行操作； 每一个动作表示里前C位中的某一位如果是0则代表不对该列进行索引操作， 如果是1则代 表对该列进行索引操作； 如果前面C位 都是0， 最后一位如果是0， 表 示不进行操作， 如果是1， 表示删除该索引； 如果前面C位中有某几位为 1， 最后一位为0表 示创建索引， 最后一位为 1表 示升级索引； 代价函数如下： 使用CnosDB中执行引擎的估计代价作为合法动作的代价， 通过虚拟索引查询执行 EXPLAIN命令后获得； 如果代理在当前状态空间下选择了非法动作， 给一个较大的惩罚rc， 使其记录该状态下的非法动作； 代价函数： 其中mask是记录动作a是否合法的数组， 如果动作a在当前状态下合法， 则mask(a)＝＝ 1， 否则mask(a)＝ ＝0； 执行EXPLAI N获得的代价cost  from hypopg()。 2.根据权利要求1所述基于深度 学习的自动化 时序数据库索引推荐方法， 其特征在于， 所述升级索引只能对已有的索引进行一个维度的升级。 3.根据权利要求2所述基于深度 学习的自动化 时序数据库索引推荐方法， 其特征在于， 针对于动作向量 不按照矩阵的方式记录向量， 将向量编码为对应的十进制数字 。 4.根据权利要求3所述基于深度 学习的自动化 时序数据库索引推荐方法， 其特征在于， 将向量编码为对应的十进制数字的过程中， 所述编码为数字压缩， 将动作向量当成一个二 进制数， 然后在编码为对应的十进制数字 。 5.根据权利要求3所述基于深度 学习的自动化 时序数据库索引推荐方法， 其特征在于， 将向量编码为对应的十进制数字之后， 利用数组来存储哪些动作是合法的， 哪些动作是非 法的。 6.根据权利要求5所述基于深度 学习的自动化 时序数据库索引推荐方法， 其特征在于， 所述非法动作的惩罚rc设置为80 0。 7.根据权利要求1至6之一所述基于深度学习的自动 化时序数据库索引推荐方法， 其特 征在于， 所述的强化学习模型为Double  DQN模型。 8.根据权利要求7所述基于深度 学习的自动化 时序数据库索引推荐方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 114328669 A 2进行时序数据库的索引推荐的强化学习模型 是预先训练好的， 训练过程包括以下步骤： 1、 一个新的任务被提交到DBMS中， 初始化状态， 初始化两个神经网络， 开始进行索引推 荐； 2、 深度学习代理从当前状态开始， 根据经验或神经网络的贪心策略选择一个动作； 3、 执行该动作， 通过该动作是否合法以及CnosDB中通过虚拟索引欺骗优化器获得的估 计代价来获得该动作的代价， 同时表示出该动作执行完后的状态， 将<状态， 动作， 代价， 下 一个状态>向量存放到 重放空间中； 4、 从重放空间中取样一个小批量样本， 用该样本对两个神经网络进行训练； 5、 更新当前状态到下一个 状态； 6、 重复步骤2到步骤5的过程 直到神经网络训练完成； 7、 从起始状态开始， 使用两个神经网络对当前所有动作的Q值进行预测， Q值规定为两 个神经网络给出的预测结果中较小的那个， 每次贪心 地选择Q值最大的动作， 直到不能再提 高， 此时的动作序列即为要建立的索引。 9.一种存储介质， 其特征在于， 所述存储介质中存储有至少一条指令， 所述至少一条指 令由处理器加载并执行以实现如权利要求1至8之一所述基于深度学习的自动化时序数据 库索引推荐方法。 10.一种设备， 其特征在于， 所述设备包括处理器和存储器， 所述存储器中存储有至少 一条指令， 所述至少一条指 令由处理器加载并执行以实现如权利要求1至6之一所述基于深 度学习的自动化时序数据库索引推荐方法。权　利　要　求　书 2/2 页 3 CN 114328669 A 3