(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111683421.5 (22)申请日 2021.12.31 (71)申请人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 申请人 中国科学技术大学 (72)发明人 田超　沈康　刘松德　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 代理人 樊晓 (51)Int.Cl. G06T 11/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双域神经网络的训练方法和光声图像 重建方法 (57)摘要 本发明公开了一种基于双域神经网络的训 练方法和一种相对应的光声图像重建方法， 包 括： 构建DI ‑net网络模型， 其中， 所述DI ‑net网络 模型包括数据域D ‑net网络、 图像域I ‑net网络以 及所述数据域D ‑net网络和图像域I ‑net网络之 间的反投影层； 获取训练样本数据集， 所述训练 样本数据集包括光声信号和光声图像； 基于所述 训练样本 数据集训练所述DI ‑net网络模型， 得到 训练后的DI ‑net网络模型。 将 稀疏视角光声信号 输入DI‑net网络模型， 得到重建图像。 利用所述 训练后的DI ‑net网络模型进行图像重建， 可以抑 制稀疏视角导 致的条纹伪影， 提高图像质量。 权利要求书3页 说明书11页 附图5页 CN 114332283 A 2022.04.12 CN 114332283 A 1.一种基于双域神经网络的训练方法， 包括： 获取训练样本数据集， 所述训练样本数据集包括 光声信号和光声图像； 基于所述训练样本数据集训练所述DI ‑net网络模型， 得到训练后的DI ‑net网络模型， 其中， 所述DI ‑net网络模型包括数据域D ‑net网络、 图像域I ‑net网络以及所述数据域D ‑net 网络和所述图像域 I‑net网络之间的反投影层。 2.根据权利要求1所述的方法， 其中， 所述数据域D ‑net网络包括第一编码器和第一解 码器： 所述第一编码器和所述第 一解码器之间存在跳跃连接； 所述跳跃连接用于减少数据域 D‑net网络在下采样过程中引起的数据损失， 所述下采样是在所述第一编码器中执行的操 作； 其中， 所述第一编码器包括： 级联的第 一编码子模块、 第 二编码子模块、 第 三编码子模块和第四编码子模块， 所述第 一编码子模块、 所述第二编码子模块、 所述第三编码子模块和所述第四编码子模块各自包 含两个卷积层和一个最大池化层； 其中， 所述第 一编码子模块、 所述第 二编码子模块、 所述第 三编码子模块和所述第四编 码子模块中， 所述各自包含的两个卷积层的卷积核的数量相同， 级联 的所述第一编码子模 块、 所述第二编码子模块、 所述第三编码子模块和所述第四编码子模块中的卷积核数量依 次加倍； 以及 所述数据域D ‑net网络的所述第一 解码器包括： 级联的第四解码子模块、 第 三解码子模块、 第 二解码子模块和第一解码子模块， 所述第 四解码子模块、 所述第三解码子模块、 所述第二解码子模块和所述第一解码子模块各自包 含两个卷积层和一个最大池化层； 其中， 所述第 四解码子模块、 所述第三解码子模块、 所述第二解码子模块、 所述第一解 码子模块的所述各自包含的两个卷积层的卷积核的数量相同， 级联的所述第四解码子模 块、 所述第三解码子模块、 所述第二解码子模块、 所述第一解码子模块的卷积核 数量依次减 半； 其中， 所述数据域D ‑net网络的所述第一编码器和所述第一解码器中具有相同数量卷 积核的子模块 为同层子模块。 3.根据权利要求2所述的方法， 其中， 所述 图像域I‑net网络包括第二编码器和第二解 码器： 所述第二编码器和所述第 二解码器之间存在跳跃连接； 所述跳跃连接用于减少所述图 像域I‑net网络中下采样过程引起的数据损失， 所述下采样是在所述第二编码器中执行的 操作； 其中， 所述第二编码器包括： 级联的第五编码子模块、 第六编码子模块、 第七编码子模块和第八编码子模块， 所述第 五编码子模块、 所述第六编码子模块、 所述第七编码子模块和所述第八编码子模块各自包 含两个卷积层和一个最大池化层； 其中， 所述第五编码子模块、 所述第六编码子模块、 所述第七编码子模块和所述第八编 码子模块中， 所述各自包含的两个卷积层的卷积核的数量相同， 级联 的所述第 五编码子模权　利　要　求　书 1/3 页 2 CN 114332283 A 2块、 所述第六编码子模块、 所述第七编码子模块和所述第八编码子模块中的卷积核数量依 次加倍； 以及 所述图像域 I‑net网络的所述第二 解码器包括： 级联的第八解码子模块、 第七解码子模块、 第六解码子模块和第五解码子模块， 所述第 八解码子模块、 所述第七解码子模块、 所述第六解码子模块和所述第 五解码子模块各自包 含两个卷积层和一个最大池化层； 其中， 所述第八解码子模块、 所述第七解码子模块、 所述第六解码子模块、 所述第五解 码子模块中， 所述各自包含的两个卷积层的卷积核的数量相同， 级联 的所述第八解码子模 块、 所述第七解码子模块、 所述第六解码子模块、 所述第五解码子模块中卷积核 数量依次减 半； 其中， 所述图像域I ‑net网络的所述第二编码器和所述第二解码器中具有相同数量卷 积核的子模块 为同层子模块。 4.根据权利要求3所述的方法， 其 中， 所述数据 域D‑net网络和所述图像域I ‑net网络还 包括： 在所述数据域D ‑net网络的所述第一编码器和所述第一解码器的所述同层子模块之间 建立跳跃连接， 在所述数据域D ‑net网络的第一层神经网络和最后一层神经网络之间建立 的跳跃连接； 在所述图像域I ‑net网络的所述第二编码器和所述第二解码器的所述同层子模块之间 建立跳跃连接； 在所述图像域I ‑net网络的第一层神经网络和最后一层神经网络之间建立 的跳跃连接； 以及 在所述第一编码器和所述第二编码器的各个卷积层中都加入一层归一化层和一层非 线性激活函数层。 5.根据权利要求4所述的方法， 其 中， 所述数据 域D‑net网络和所述图像域I ‑net网络由 反投影层连接， 表示 为如下矩阵形式： P＝BY； 其中， P是包含待重建图像信息的一维列向量， 将P经重新排列后形成待重建图像矩阵 输入到所述图像域I ‑net网络； B是反投影矩阵， 通过所述反投影矩阵B连接所述数据域D ‑ net网络和所述图像域 I‑net网络； Y是反投影项矩阵， 基于所述数据域D ‑net网络产生。 6.根据权利要求5所述的方法， 其中， 所述训练样本数据集包括： 空间欠采样光声信号和空间全采样光声信号， 以及空间全采样光声信号通过图像重建 算法获取的全采样光声信号对应的光声图像； 所述空间欠采样光声信号和所述空间全采样 光声信号形成第一数据集对， 所述空间欠采样光声信号和所述空间全采样光声信号对应的 光声图像形成第二数据集对。 7.根据权利要求6所述的方法， 其中， 所述空间欠采样光声信号和所述空间全采样光声 信号由探测器装置采集不同通道数的光声信号经过滤波矩阵处理后得到， 表示为如下矩阵 形式： Y0＝FX； 其中F是滤波矩阵； X是由探测器装置采集不同通道数的光声信号矩阵； Y0是所述空间欠 采样光声信号矩阵或所述空间全 采样光声信号矩阵。权　利　要　求　书 2/3 页 3 CN 114332283 A 3