(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111650415.X (22)申请日 2021.12.3 0 (71)申请人 北京三快在线科技有限公司 地址 100080 北京市海淀区北四环西路9号 2106-030 (72)发明人 赵玲玲　 (74)专利代理 机构 北京曼威知识产权代理有限 公司 11709 代理人 邓超 (51)Int.Cl. G06V 30/412(2022.01) G06V 30/414(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种模型训练以及表格识别方法及装置 (57)摘要 本说明书公开了一种模型训练以及表格识 别方法及装置， 确定若干包含表格的图像， 作为 各训练样本， 针对每个训练样本， 根据该训练样 本中表格的结构和位置， 确定该训练样本的标 注， 将该训练样本输入识别模型的特征提取层， 确定该训练样本对应的 图像特征金字塔， 针对图 像特征金字塔中的每张特征图， 确定该特征图对 应的重构编码， 并对该特征图对应的重构编码进 行上采样， 与尺寸大于该特征图的其他特征图进 行融合， 将各特征图对应的融合结果作为输入， 输入识别模 型的识别层， 得到该训练样本的识别 结果。 本方法基于不同尺寸的特征图进行融合， 确定训练样 本的识别结果， 获取到的图像特征更 加全面， 在识别采集到的图像时可 获取到丰富的 信息量， 效率较高。 权利要求书2页 说明书12页 附图5页 CN 114359935 A 2022.04.15 CN 114359935 A 1.一种识别模型的训练方法， 其特 征在于， 包括： 确定若干包含表格的图像， 作为各训练样本， 针对每个训练样本， 根据 该训练样本 中表 格的结构和位置， 确定该训练样本的标注； 将该训练样本作为输入， 输入到待训练的识别模型的特征提取层， 对该训练样本分别 进行上采样和下采样， 确定该训练样本对应的图像特 征金字塔； 针对所述图像特征金字塔中的每张特征图， 对该特征图进行不同方向的卷积， 确定该 特征图对应的重构编码， 并对该特征图对应的重构编码进行上采样， 与所述图像特征金字 塔中尺寸大于该 特征图的其 他特征图进行融合， 确定融合结果； 将各特征图对应的融合结果作为输入， 输入所述识别模型的识别层， 得到所述识别层 输出的该训练样本的识别结果； 根据各训练样本的识别结果及其标注， 对所述识别模型进行训练。 2.如权利要求1所述的方法， 其特 征在于， 所述识别结果包 含多种类型； 根据各训练样本的识别结果及其标注， 对所述识别模型进行训练， 具体包括： 针对每个训练样本， 根据预设的识别结果的类型和该训练样本的标注， 确定该训练样 本对应于各类型的标注； 根据各训练样本分别对应的所述各类型的识别结果和标注， 确定损 失， 并根据所述损 失调整所述识别模型的模型参数。 3.如权利要求1所述的方法， 其特征在于， 将各特征图对应的融合结果作为输入， 输入 所述识别模型的识别层， 得到所述识别层输出的该训练样本的识别结果， 具体包括： 将各特征图对应的融合结果作为输入， 输入所述识别模型的识别层的卷积子层， 确定 各特征图对应的相同尺寸的融合结果； 将各特征图对应的相同尺寸的融合结果输入所述识别模型的识别层的融合子层， 得到 该训练样本 输出的识别结果。 4.如权利要求1所述的方法， 其特征在于， 对该特征图对应的重构编码进行上采样， 与 所述图像特征金字塔中尺寸大于该特征图的其他特征图进行融合， 确定融合结果， 具体包 括： 针对所述图像特征金字塔中的每张特征图， 将该特征图对应的重构编码进行上采样， 与尺寸大于该 特征图的尺寸 一个层级的特 征图进行融合， 确定融合结果。 5.如权利要求3所述的方法， 其特征在于， 所述识别结果包含二十九种类型， 所述识别 层为二十九通道的卷积神经网络层， 其中， 五层用于语义分割， 二十四层用于像素分类； 将各特征图对应的相同尺寸的融合结果输入所述识别模型的识别层的融合子层， 得到 该训练样本 输出的识别结果， 具体包括： 将各特征图对应的相同尺寸的融合结果输入所述识别模型的识别层的融合子层， 确定 该训练样本对应的融合特 征； 根据预设的识别结果的类型和所述融合特征， 得到预设的各通道输出的该训练样本的 识别结果。 6.一种表格识别方法， 其特 征在于， 包括： 确定包含表格的图像； 将所述图像作为输入， 输入预先训练好的识别模型的特征提取层， 对所述图像分别进权　利　要　求　书 1/2 页 2 CN 114359935 A 2行上采样和下采样， 确定所述图像对应的图像特 征金字塔； 针对所述图像特征金字塔中的每张特征图， 对该特征图进行不同方向的卷积， 确定该 特征图对应的重构编码， 并对该特征图对应的重构编码进行上采样， 与所述图像特征金字 塔中尺寸大于该 特征图的其 他特征图进行融合， 确定融合结果； 将各特征图对应的融合结果作为输入， 输入所述识别模型的识别层， 得到所述识别层 输出的所述图像的识别结果， 根据所述图像的识别结果， 确定所述图像中表格的结构及位 置。 7.一种识别模型的训练装置， 其特 征在于， 包括： 样本确定模块， 用于确定若干包含表格的图像， 作为各训练样本， 针对每个训练样本， 根据该训练样本中表格的结构和位置， 确定该训练样本的标注； 采样模块， 用于将该训练样本作为输入， 输入到待训练的识别模型的特征提取层， 对该 训练样本分别进行 上采样和下采样， 确定该训练样本对应的图像特 征金字塔； 融合模块， 用于针对所述图像特征金字塔中的每张特征图， 对该特征图进行不同方向 的卷积， 确定该特征图对应的重构编码， 并对该特征图对应的重构编 码进行上采样， 与所述 图像特征金字塔中尺寸大于该 特征图的其 他特征图进行融合， 确定融合结果； 识别模块， 用于将各特征图对应的融合结果作为输入， 输入所述识别模型的识别层， 得 到所述识别层输出的该训练样本的识别结果； 训练模块， 用于根据各训练样本的识别结果及其标注， 对所述识别模型进行训练。 8.一种表格识别装置， 其特 征在于， 包括： 第一确定模块， 用于确定包 含表格的图像； 第二确定模块， 用于将所述图像作为输入， 输入预先训练好的识别 模型的特征提取层， 对所述图像分别进行 上采样和下采样， 确定所述图像对应的图像特 征金字塔； 融合模块， 用于针对所述图像特征金字塔中的每张特征图， 对该特征图进行不同方向 的卷积， 确定该特征图对应的重构编码， 并对该特征图对应的重构编 码进行上采样， 与所述 图像特征金字塔中尺寸大于该 特征图的其 他特征图进行融合， 确定融合结果； 第三确定模块， 用于将各特征图对应的融合结果作为输入， 输入所述识别模型的识别 层， 得到所述识别 层输出的所述图像的识别结果， 根据所述图像的识别结果， 确定所述图像 中表格的结构及位置 。 9.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计算 机程序被处 理器执行时实现上述权利要求1～5或权利要求6任一项所述的方法。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现上述权利要求 1～5或权利要求6任一 项所述的方法。权　利　要　求　书 2/2 页 3 CN 114359935 A 3