(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210030941.4 (22)申请日 2022.01.12 (71)申请人 京东鲲鹏(江苏)科技有限公司 地址 215500 江苏省苏州市 常熟市东 南街 道云深路2号 (72)发明人 徐鑫　 (74)专利代理 机构 中原信达知识产权代理有限 责任公司 1 1219 代理人 郝红玉　张春晓 (51)Int.Cl. G06T 7/55(2017.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种图像特 征处理方法和装置 (57)摘要 本发明公开了一种图像特征处理方法和装 置， 涉及计算机技术领域。 该方法的具体实施方 式包括： 利用双目相机生成左图像和右图像， 使 用特征提取网络提取左图像和/或右图像的特 征， 得到图像特征； 以预设代价聚合体缩放因子 为步长， 从初始值遍历至图像特征的最大视差， 得到多个视差以构建第一代价聚合体进行聚合 处理， 生成第一视差图； 基于图像特征和第一视 差图， 构建第二代价聚合体以进行聚合处理， 生 成第二视差图； 使用二维卷积神经网络， 对第二 视差图进行精炼 处理， 以生 成左图像特征和右图 像特征的目标视差图。 该实施方式基于由粗到精 的两段非全程代价聚合方法， 计算左右图像特征 的视差图， 解决现有3D代价聚合网络速度慢的问 题， 且保持有足够精度。 权利要求书3页 说明书14页 附图7页 CN 114387325 A 2022.04.22 CN 114387325 A 1.一种图像特 征处理方法， 其特 征在于， 包括： 利用双目相机生成左图像和右图像， 使用特征提取网络提取左图像和/或右图像的特 征， 得到图像特 征； 其中， 所述图像特 征为左图像特 征和/或右图像特 征； 以预设代价聚合体缩放因子为步长， 从初始值遍历至所述图像特征的最大视差， 得到 多个视差以构建第一代价聚合体进行聚合处 理， 生成第一视 差图； 基于所述图像特征和所述第一视差 图， 构建第二代价聚合体以进行聚合处理， 生成第 二视差图； 使用二维卷积神经网络， 对所述第二视差 图进行精炼处理， 以生成所述左图像特征和 所述右图像特 征的目标视 差图。 2.根据权利要求1所述的方法， 其特征在于， 在所述图像特征为左图像特征的情况下， 所述基于所述图像特 征和所述第一视 差图， 构建第二代价聚合体以进行聚合处 理， 包括： 对于所述左图像特征中的任一点， 获取在所述第 一视差图中的粗略视差； 其中， 粗略视 差为对所述任一 点进行视 差粗估计得到； 获取所述任一点的横坐标和纵坐标， 计算横坐标减去所述粗略视差的数值后的新横坐 标， 判断所述右图像特 征中是否存在与新横坐标和纵坐标对应的点； 若不存在， 则进行填充0操作， 否则， 将点沿横轴正方向平移所述粗略视差个单位； 其 中， 平移后的右图像特 征尺寸不变； 对平移后的右图像特征与所述第一视差 图进行级联， 获得匹配张量， 之后将匹配张量 在视差维度上逐单位地与所述左图像特征相减并取绝对值， 得到第二代价聚合体以进 行聚 合处理。 3.根据权利要求1所述的方法， 其特征在于， 在所述图像特征为右图像特征的情况下， 所述基于所述图像特 征和所述第一视 差图， 构建第二代价聚合体以进行聚合处 理， 包括： 对于所述左图像特 征中的任一 点， 获取在所述第一视 差图中的粗略视 差； 获取所述任一点的横坐标和纵坐标， 计算横坐标加上所述粗略视差的数值后的新横坐 标， 判断所述左图像特 征中是否存在与新横坐标和纵坐标对应的点； 若不存在， 则进行填充0操作， 否则， 将点沿横轴负方向平移所述粗略视差个单位； 其 中， 平移后的左图像特 征尺寸不变； 对平移后的左图像特征与所述第一视差 图进行级联， 获得匹配张量， 之后将匹配张量 在视差维度上逐单位地与所述右图像特征相减并取绝对值， 得到第二代价聚合体以进 行聚 合处理。 4.根据权利要求1所述的方法， 其特征在于， 在所述图像特征包括左图像特征和 右图像 特征的情况下， 所述基于所述图像特征和所述第一视差图， 构建第二代价聚合体以进行聚 合处理， 包括： 同时确定左/右图像特征中任一个通道的高度和宽度， 创建值为1到宽度的一维矩阵， 在垂直方向上重复高度次， 以生成一个空二维张量； 获取所述任一通道中每个点在所述第 一视差图中的粗略视差， 将粗略视差按照 点位置 逐个赋值到所述空二维张量上， 得到左/右图像特征的二 维张量； 以及在右图像特征的二 维 张量最左侧补0； 对所述左图像特征的二维张量取负值并进行激活处理， 得到映射值， 以所述映射值为权　利　要　求　书 1/3 页 2 CN 114387325 A 2横坐标， 结合每个点在所述左图像特征 的纵坐标， 生成映射到所述右图像特征二维张量上 的映射坐标； 基于映射坐标构建匹配张量， 将所述匹配张量在视差维度 上与所述左图像特征相减 并 取绝对值， 得到第二代价聚合体以进行聚合处 理。 5.根据权利要求2 ‑4中任一项所述的方法， 其特 征在于， 所述方法还 包括： 基于所述粗略视差、 所述预设代价聚合体缩放因子、 预设卷积网络适应因子， 生成与所 述任一点对应的视 差区间； 以1为步长， 从视差区间的最左端开始选取多个视差， 统计多个视差的数量， 得到第二 代价聚合体在视 差维度上的长度。 6.根据权利要求5所述的方法， 其特征在于， 第一代价聚合体在视差维度上的长度， 为 所述多个视 差的数量加1。 7.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括： 使用第一三维卷积神经网络对第一代价聚合体进行聚合处理， 得到第一张量， 进而在 视差维度上对所述第一张量进行回归处 理； 以及 使用第二三维卷积神经网络对第二代价聚合体进行聚合处理， 得到第二张量， 进而在 视差维度上对所述第二张量进行回归处 理。 8.根据权利要求7 所述的方法， 其特 征在于， 所述方法还 包括： 对于任一视差 图上的任一点， 获取在所述任一视差 图上的视差预测值和视差真实值， 以计算两者差值； 响应于差值的绝对值小于1， 采用预设第一函数计算所述任一点的平滑损失， 否则采用 预设第二 函数计算所述任一 点的平滑损失； 累加所有点的平滑损 失， 将总平滑损 失与所述任一视差 图上的总点数的比值， 作为所 述任一视差图的损失值， 结合每个卷积神经网络的预设权重值， 以累加得到所有视差图的 总损失； 基于所述总损 失调整每个卷积神经网络的参数， 重复上述迭代过程， 直至迭代后的总 损失达到预设数值 为止。 9.根据权利要求1所述的方法， 其特征在于， 所述使用二维卷积神经网络， 对所述第二 视差图进行精炼处 理， 以生成所述左图像特 征和所述右图像特 征的目标视 差图， 包括： 使用一次性双线性插值方法， 对所述第 一视差图和所述第 二视差图进行两次上采样处 理， 得到两次采样结果以进行级联； 将级联结果输入到二维卷积神经网络进行处理， 并构建残差结构， 得到所述左图像特 征和所述右图像特 征之间的目标视 差图。 10.根据权利要求1所述的方法， 其特征在于， 在所述生成所述左图像特征和所述右图 像特征的目标视 差图之后， 所述方法还 包括： 基于所述目标视 差图， 对所述双目相机中的左图像和右图像进行视 差校正。 11.一种图像特 征处理装置， 其特 征在于， 包括： 特征提取模块， 用于利用 双目相机生成左图像和右图像， 使用特征提取网络提取左图 像和/或右 图像的特征， 得到图像特征； 其中， 所述图像特征为左图像特征和/或右 图像特 征；权　利　要　求　书 2/3 页 3 CN 114387325 A 3