(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111675564.1 (22)申请日 2021.12.31 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 申请人 中国兵器科 学研究院 　 北京航空航天大 学江西研究院 (72)发明人 百晓　王晨　张亮　刘冰　李军　 李俊杰　陈科　王晓悦　安辰　 程姗　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 代理人 安丽　邓治平 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于证据深度学习的双目匹配不确定 性估计方法 (57)摘要 本发明公开一种基于证据深度学习的双目 匹配不确定性估计方法， 通过卷积神经网络提取 和聚合特征， 进而获得一个匹配代 价体和三个不 确定性体， 在匹配代价的指导下， 计算出证据分 布的四个超参数γ， ν， α和β； 最后通过四个超 参数计算双目匹配视差值， 偶然不确定性和认知 不确定性。 本发 明很好地反映出双目匹配的难易 程度， 提升不确定性估计的表现， 而且面对分布 外的数据时能给出较高的认知不确定性。 权利要求书2页 说明书7页 附图2页 CN 114372523 A 2022.04.19 CN 114372523 A 1.一种基于证据深度学习的双目匹配不确定性估计方法， 其特 征在于， 步骤如下： (1)输入左目图像和右目图像， 使用共享参数的孪生网络分别提取左目图像和右目图 像特征； 通过一系列的二维卷积和池化操作， 得到左目图像和右目图像的特 征图； (2)将左目图像和右目图像的特征图拼接在一起， 使用三维卷积操作对所述特征图进 行代价聚合， 获得匹配代价体和不确定性体； 所述匹配代价体和 不确定体是对特征进行代 价聚合后得到的， 匹配代价体用来从 中计算不同视差处的匹配相似度， 进而得到参数γ； 不 确定体用来从中计算不同视差处的不确定性参数， 并在上述匹配相似度的指导下， 计算得 到参数ν， α 和β； (3)根据匹配代价体， 基于证据深度学习， 训练一个神经网络， 证据深度学习方法将学 习看作一个证据搜集的过程， 选择高斯分布的共轭分布， 即正态逆伽马分布作为证据分布， 然后根据该证据分布在 似然函数参数上建模了一个更高阶的证据分布作为后验分布， 最后 计算出证据分布的超参数γ， ν， α和β， 这些参数是正态逆伽 马分布的参数， 用来计算偶然不 确定性和认知不确定性； (4)通过训练好的神经网络进行双目视差估计， 并通过单向前传操作计算偶然不确定 性和认知不确定性。 2.根据权利要求1所述的基于证据深度学习的双目匹配不确定性估计方法， 其特征在 于， 步骤(2)中具体实现为： (21)获得匹配代价体为每一个像素位置计算一个分类概率向量， 分类概率向量中的每 一个元素对应一个可能的视差值， 表示匹配结果为该视差值的概率； 不确定体具有三个维 度w×h×Smax， w和h分别为特征图的宽和高， Smax为视差范围的最大值； 获得的匹配代 价体为 左目图像中的每一个像素位置计算一个分类概率向量， 可能的视差值是指由相机内外参数 决定的最小视 差值和最大视 差值之间的范围， 并将其离 散化成有限个数值； (22)将左目图像的特征图的每一个通道都重复Smax次来构建三维特征， 使用左目图像 的特征图为参照， 以不同的位移值即1像素， 2像素， …， Smax像素平移右目 图像特征图的每一 个通道， 然后堆叠成三维特 征； (23)重复的将左目图像特征和按照不同值平移的右目图像特征以交叉的方式堆叠在 一起， 形成新的特 征； (24)利用三维卷积核对堆叠后的特征进行处理， 通过四个分支分别得到不同的匹配代 价体和不确定性体。 3.根据权利要求1所述的基于证据深度学习的双目匹配不确定性估计方法， 其特征在 于， 所述步骤(3)中， 后验分布的公式为： q( μ， σ2)＝p( μ， σ2|d1， d2，…， dN) 其中p表示最大化似然， di表示匹配代价体中第i个像素的估计视差值， 具体为(d1， d2，…， dN)～N( μ， σ2)， 均值 μ服从高斯分布表示为 μ～N(γ， σ2v‑1)， 方差σ2服从逆伽马分布表 示为σ2～Γ‑1( α， β )， Γ‑1(·)是逆伽马方程， N表示高斯分布， υ＞0， α ＞1， β ＞0 。 4.根据权利要求1所述的基于证据深度学习的双目匹配不确定性估计方法， 其特征在 于， 步骤(4)中， 神经网络通过最小化损失函数训练， 损失函数由证据学习损失和 两个正则 化损失项组成， 公式为：权　利　要　求　书 1/2 页 2 CN 114372523 A 2其中， w表示的是神经网络模型参数， 为证据学习损失函数； 和 为两个 正则化损失项； λpred， λsmooth和 λsup是平衡因子； 用来在训练样本的支持下最大化模型证 据， 致力于在错误视差估计的区域估计更小的证据参数v和α， 从而得到更大的不确定 性值， 在视差平滑区域约束不确定性参数的平滑性， 从而将对不确定性的约束从有 真实视差标注的像素传播到没有真实视 差标注的像素处， 提升对不确定性估计的约束。 5.根据权利要求1所述的基于证据深度学习的双目匹配不确定性估计方法， 其特征在 于， 步骤(4)中， 偶然不确定性， 认知不确定性 通过以下公式计算： E[ μ]＝γ 其中， μ为均值， σ2为方差， γ， υ， α， β 为网络学习到的计算所需要的超参数， E[ μ]， E[σ2] 和Var[ μ] 分别表示视 差， 偶然不确定性， 认知不确定性。权　利　要　求　书 2/2 页 3 CN 114372523 A 3