(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111670468.8 (22)申请日 2021.12.3 0 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 刘嘉　张文华　刘芳　肖亮　 江凯旋　李东徽　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 陈鹏 (51)Int.Cl. G06T 7/00(2017.01) G06T 9/00(2006.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于内容编码的无监 督变化检测方法 (57)摘要 本发明公开了一种基于内容编码的无监督 变化检测方法， 包括以下步骤： 构造内容编码网 络结构； 建立变化检测的概率函数模型； 定义掩 码损失函数来测量内容编码之间的偏差； 构造内 容约束函数， 根据对象来约束对图像的差分结 果； 结合掩码损失函数和内容约束函数来定义能 量函数进行训练得到变化检测结果。 该方法可以 有效避免现有变化检测方法对于精确配准的依 赖， 可适用于大多数变化检测问题， 包括现有方 法无法解决的多视角图像的无监督变化检测问 题。 权利要求书3页 说明书6页 附图3页 CN 114494154 A 2022.05.13 CN 114494154 A 1.一种基于内容编码的无监 督变化检测方法， 其特 征在于， 包括以下步骤： 第一步， 构建一个基于卷积神经网络的内容提取网络， 将输入图像编码， 输出为一个没 有参考标签的特 征向量； 第二步， 假设网络输出向量中的每个元素表示输入图像中的某个内容， 通过输入两幅 图像得到 两个图像的编码， 在编码的基础上定义内容对齐损失函数； 第三步， 优化能量模型， 定义编码的内容约束函数以满足内容 假设； 第四步， 将对齐损失函数和内容约束函数进行组合并建立基于能量的概 率模型； 第五步， 优化后， 比较两幅图像的特 征向量， 求 解概率模型； 第六步， 比较两幅图像的特征向量， 通过优化变化区域中的变化掩膜， 生成变化区域， 最后使用FL ICM的图像聚类算法生成差异图。 2.根据权利要求1所述的基于 内容编码的无监督变化检测方法， 其特征在于， 第 二步为 了学习网络， 假设网络输出向量中的每个元素表示输入图像中的某个内容， 通过输入两幅 图像得到两个图像的编码， 在编 码的基础上定义内容对齐损失函数， 学习输入图像的分布； 具体过程 为： (1)概率模型定义 为： 其中Z为配分函数， u是一个伪概率向量， 表示每个内容对象的不变概率； 通过最大化概 率的对数似然来优化概率模型， 增加输入数据I1、 I2的能量， 同时降低所有其他数据的能量， 网络可学习两幅图像之间的关系； (2)通过对变化检测的定义来设计能量函数E(I1,I2,u, θ )， 该能量函数对两幅图像中相 同的内容进行对齐， 特征 向量v1＝fθ(I1)和v2＝fθ(I2)中不变内容的成分相似， 因此定义两 幅图像的对齐损失， 表示如下： 其中,i是特征向量的分量索引， u是一个伪概率向量， 表示每个内容对象的不变概率， 它是一个可训练的参数， 将与网络参数集θ 一 起进行训练。 3.根据权利要求1所述的基于 内容编码的无监督变化检测方法， 其特征在于， 第 三步定 义编码的内容约束函数以满足内容假设， 定义内容约束， 通过约束来实现每个编码的元素 表示一种内容， 具体过程 为： 其中(i,j,k)表示第k个通道中(i,j)的像素， Ω(i,j)表示像素(i,j)正方形邻域； δI表示 输出特征向量v相对于 输入图像I的微分系数， 表示如下： 其中ω表示每个像素邻域内的权重矩阵， 由相邻像素与中心像素的差值计算而得， 表 示如下：权　利　要　求　书 1/3 页 2 CN 114494154 A 2其中， σ 表示邻域内像素的标准差 。 4.根据权利要求1所述的基于 内容编码的无监督变化检测方法， 其特征在于， 第四步将 对齐损失函数和内容约束函数进 行组合并建立基于能量的概率模型， 将能量模型定义为具 有内容约束的两个特 征向量之间的差值， 通过 结合得到以下能量 函数： E(I1,I2, θ,u)＝L(I1,I2, θ,u)+λ[C(I1, θ )+C(I2, θ )] 其中， λ是一个用户定义的参数， 控制这两项权重， 然后将能量函数设置为变化检测的 概率模型， 根据概 率模型的对数似然梯度来计算 概率模型的优化框架， 表达如下： 其中I′1,I′2表示数据空间内的所有可能数据； 增加相对于输入数据的概率 使用对比散度算法来保证效率； 参数 更新梯度如下： 从上述导数来看， 优化的基本算子是梯度； 在整个优化过程中， 必须推导出两种类型的 梯度， 包括可训练参数 和输入数据 的梯度； 在能量函数中有两项， 分别 推导出它 们的梯度； 通过反向传播 算法， 得到对准损失的梯度如下： 对于内容梯度， 也可以得 出类似梯度， 公式如下： 相应的 的梯度也可以求出， 公式如下：权　利　要　求　书 2/3 页 3 CN 114494154 A 3