(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111679775.2 (22)申请日 2021.12.31 (71)申请人 北京五八信息技 术有限公司 地址 100083 北京市海淀区学清路甲18号 中关村东升科技园学院园三层3 01室 (72)发明人 高文龙　曾钦榜　周超　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 吕俊秀 (51)Int.Cl. G06F 16/34(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种标题生成方法、 装置、 电子设备和存储 介质 (57)摘要 本发明实施例提供了一种标题 生成方法、 装 置、 电子设备和存储介质， 所述方法包括： 获取待 处理文本； 根据待处理文本， 得到至少一个输入 词以及至少一个输入词对应的输入词嵌入信息； 将输入词嵌入信息输入预先训练的标题生成模 型进行处理， 得到输出词； 标题生成模型包括编 码层、 注意力层和解码层； 通过编码层基于输入 词嵌入信息， 得到输入词对应属性的语义特征； 通过注意力层基于输入词对应属性的语义特征， 得到输入词的注意力向量； 通过解码层基于注意 力向量， 从至少一个输入词中抽取得到至少一个 输出词， 确定待处理文本的标题。 本申请实施例 可以生成个性化标题， 避免重复生成文本以及生 成错误信息， 提高标题内容的准确性， 从而提高 用户的点击率。 权利要求书2页 说明书14页 附图4页 CN 114491004 A 2022.05.13 CN 114491004 A 1.一种标题生成方法， 其特 征在于， 包括： 获取待处 理文本； 根据所述待处理文本， 得到至少一个输入词以及所述至少一个输入词对应的输入词嵌 入信息； 将所述输入词嵌入信息输入预先训练的标题生成模型进行处理， 得到输出词； 所述标 题生成模型包括编码层、 注意力 层和解码层； 通过所述编 码层基于所述输入词嵌入信息， 得 到所述输入词对应属性的语义特征； 通过所述注 意力层基于所述输入词对应属性的语义特 征， 得到所述输入词的注意力向量； 通过所述解码层基于所述注意力向量， 从所述至少一个 输入词中抽取 得到至少一个输出词； 根据所述至少一个输出词， 确定所述待处 理文本的标题。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述待处理文本， 得到至少一个 输入词以及所述至少一个输入词对应的输入词嵌入信息， 包括： 对所述待处 理文本进行信息抽取， 得到多个属性和所述多个属性对应的输入词； 根据所述输入词对应属性和所述输入词在所述输入词对应属性对应的所有输入词中 的位置信息， 得到 输入词嵌入信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述编码层包括LSTM单元和属性编码单 元； 所述通过所述编 码层基于所述输入词嵌入信息， 得到所述输入词对应属性的语义特征， 包括： 将所述输入词嵌入信息 输入所述属性编码单 元进行编码， 得到 输入词属性编码信息； 将所述输入词属性编码信息输入所述LSTM单元， 由所述LSTM单元将所述输入词属性编 码信息结合到每一时间步输出的 隐藏状态中， 得到所述输入词的整体语义特征和所述输入 词对应属性的语义特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述通过所述注意力层基于所述输入词对 应属性的语义特 征， 得到所述输入词的注意力向量， 包括： 将所述输入词的整体语义特征和所述输入词对应属性的语义特征输入所述注意力层， 得到所述输入词的注意力权 重和所述输入词对应属性的注意力权 重； 根据所述输入词的注意力 权重和所述输入词对应属性的注意力 权重， 确定所述输入词 的双注意力权 重； 根据所述输入词的双注意力 权重和所述输入词的整体语义特征， 得到所述输入词的注 意力向量。 5.根据权利要求4所述的方法， 其特征在于， 所述解码层包括LSTM单元； 所述通过所述 解码层基于所述注意力向量， 从所述至少一个输入词中抽取 得到至少一个输出词， 包括： 将所述输入词的注意力向量和所述待处理文本序列的起始标识输入所述LSTM单元， 由 所述LSTM单元输出当前时间步所述至少一个输入词中输出概率最高的词以及当前时间步 的隐藏状态； 将当前时间步输出的隐藏状态以及当前时间步的输出词输入所述LSTM单元， 由所述 LSTM单元输出下一时间步所述至少一个输出词中输出概率最高的词以及下一时间步的隐 藏状态； 当下一时间步的输出词为结束标识时， 停止 输出输出概 率最高的词。权　利　要　求　书 1/2 页 2 CN 114491004 A 26.根据权利要求1所述的方法， 其特 征在于， 通过如下 方式训练所述标题生成模型： 获取训练数据， 所述训练数据包括训练文本和所述训练文本对应的文本标注； 根据所述训练文本， 得到所述训练文本的嵌入信息； 将所述训练文本的嵌入信 息作为所述标题生成模型的输入； 所述标题生成模型包括编 码层、 注意力 层和解码层； 通过所述编 码层基于所述嵌入信息， 得到所述训练文本中各个词 对应属性的语义特征； 通过所述注意力层基于所述各个词对应属 性的语义特征， 得到所述 各个词的注意力向量； 通过所述解码层基于所述注意力向量， 从所述训练文本中抽取得到 至少一个输出词； 根据所述至少一个输出词和所述文本标注， 确定 输出误差信息； 根据所述输出误差信息， 调整所述标题生成模型的参数， 以对所述标题生成模型进行 训练。 7.根据权利要求6所述的方法， 其特征在于， 所述解码层包括LSTM单元； 所述文本标注 包括预设的标准输出词； 所述根据所述至少一个输出词和所述文本标注， 确定输出误差信 息， 包括： 将所述LSTM单元当前时间步的输出词与预设的标准输出词进行对比， 得到当前时间步 的输出误差信息 。 8.一种标题生成装置， 其特 征在于， 所述装置包括： 文本获取模块， 用于获取待处 理文本； 嵌入信息确定模块， 用于根据所述待处理文本， 得到至少一个输入词以及所述至少一 个输入词对应的输入词嵌入信息； 模型处理模块， 用于将所述输入词嵌入信息输入预先训练的标题生成模型进行处理， 得到输出词； 所述标题生成模型包括编 码层、 注意力层和解码层； 通过所述编码层基于所述 输入词嵌入信息， 得到所述输入词对应属 性的语义特征； 通过所述注意力层基于所述输入 词对应属 性的语义特征， 得到所述输入词的注意力向量； 通过所述解码层基于所述注意力 向量， 从所述至少一个输入词中抽取 得到至少一个输出词； 标题确定模块， 用于根据所述至少一个输出词， 确定所述待处 理文本的标题。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储器及存储在所述存储器上并能够在 所述处理器上运行的计算机程序， 所述计算机程序被所述处理器执行时实现如权利要求 1‑ 7中任一项所述的标题生成方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储计算机程 序， 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述的标题生成方法的 步骤。权　利　要　求　书 2/2 页 3 CN 114491004 A 3