(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111641508.6 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 113987255 A (43)申请公布日 2022.01.28 (73)专利权人 南湖实验室 地址 314000 浙江省湖州市南湖区七 星街 道香湖别墅2 9幢 (72)发明人 张磊　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 代理人 张晓英 (51)Int.Cl. G06F 16/583(2019.01) G06F 7/58(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 111711645 A,2020.09.25 CN 112183730 A,2021.01.0 5 审查员 王志超 (54)发明名称 基于联邦学习与秘密分享的多源密文图像 检索方法 (57)摘要 本方案公开了一种基于联邦学习与秘密分 享的多源密文图像检索方法， 包括以下步骤： S1. 基于联邦学习以加入双云平台的图像拥有者为 联邦成员对双云平台的卷积神经网络进行模型 训练； S2.授权用户基于加法秘密分享借助双云 平台完成密文图像检索。 本方案提供基于联邦学 习与秘密分享的多源密文图像检索方案， 利用联 邦学习精简检索使用的神经网络模 型结构， 获得 更好的网络参数， 用图像拥有 者端的开销换取更 好的神经网络参数与更精简的网络模 型结构， 使 得更好的卷积神经网络能够被使用在密文图像 检索中， 使得用户在检索时可以更好更快地得到 结果。 权利要求书3页 说明书11页 附图3页 CN 113987255 B 2022.04.01 CN 113987255 B 1.一种基于联邦学习与秘密分享的多源密文图像检索方法， 其特征在于， 包括以下步 骤： S1.基于联邦学习以加入双云平 台的图像拥有者为联邦成员对双云平 台Si的卷积神经 网络进行模型训练； S2.授权用户基于加法秘密分享借助双云平台完成密文图像 检索； 步骤S1中， 图像拥有者 通过以下 方式训练神经网络： S11.图像拥有者从双云平台 Si分别获取卷积神经 网络的网络结构及权重信息 Wi和偏置 信息bi， 并恢复卷积神经网络 W=W1+W2， b=b1+b2； S12.对待上传图片制作标签， 使用待上传图片对所述的卷积神经网络进行训练； S13.训练结束后， 将梯度信息 G的两份梯度分享 G1、G2， 待上传图像信息{ I}的两份图像 分享{I1}、{I2}， 待上传图像张量信息{ T}的两份张量分享{ T1}、 {T2}均分别发送给两个云平 台S1、 S2； S14.双云平台 Si根据梯度分享 Gi分别更新权重信息， 使用权重更新后的网络对张量分 享Ti分别进行计算得到比对特 征{Fi}； 步骤S14中， 通过以下 方式得到比对特 征{Fi}： S141.双云平台 Si通过权重更新后的网络对接收到的张量分享 Ti做密文前馈计算， 并提 取最后一层池化层的特 征； S142.对池化层特 征进行加性聚合； S143.使用加性聚合后的特 征向量作为比对特 征{Fi}； 所述密文前馈计算的计算策略包括针对激活函数层的激活层协议 SecReLU， 且激活层 协议SecReLU包括： 双云平台拥有值 a的分享，offline阶段：①图像拥有者生成随机数并发 送给Si；online阶段：②Si计算SecSgn （a） =bi；③Si计算SS （bi， a， 0）； 其中，SecSgn为密文正负判断协议 ， SS为密文选择协议， 且密文正负判断协议 SecSgn包 括密文值比较协议 SecCmp、 密文比特比较协议 SecBitCmp 和三数乘 协议SecThreeMul。 2.根据权利要求1所述的基于联邦学习与秘密分享的多源密文图像检索方法， 其特征 在于， 步骤S11中， 所述卷积神经网络的网络结构包括卷积层、 激活函数层、 池化层和全连接 层， 双云平台 Si的全连接层的节点 数量均与 双云平台 Si所涉及的图像种类 一致， 且双云平台 Si初始网络 的卷积层均使用预训练权重， 全连接层的初始权重以正态分布随机生成， 后续 图像拥有者均通过步骤S1 1‑S14对网络参数 更新之后的模型进行 再训练。 3.根据权利要求2所述的基于联邦学习与秘密分享的多源密文图像检索方法， 其特征 在于， 步骤S2具体包括： S21.授权用户将待查询图片转换为张量信息， 并将张量信息{ QT}以加法秘密分享形式 分割分别发送给双云平台 Si； S22.双云平台 Si根据张量信息的张量分享 QTi进行密文协同计算， 分别得到密文特征 QFi； S23.双云平台 Si协同对所提取的密文特征 QFi和比对特征{ Fi}进行距离度 量， 并根据度 量结果将相似图像的图像信息{ Ii}传回给授权用户； S24.授权用户基于 两份图像分享{ Ii}恢复原始明文图像{ I}。 4.根据权利要求3所述的基于联邦学习与秘密分享的多源密文图像检索方法， 其特征权　利　要　求　书 1/3 页 2 CN 113987255 B 2在于， 步骤S2 2中， 通过以下 方式得到密文特 征QFi： S221.双云平台 Si对接收到的张量分享 QTi做密文前馈计算， 并提取最后一层池化层的 特征； S222.对池化层特 征进行加性聚合； S223.使用加性聚合后的特 征向量作为密文特 征QFi。 5.根据权利要求4所述的基于联邦学习与秘密分享的多源密文图像检索方法， 其特征 在于， 密文前馈计算的计算策略还包括针对全连接层和卷积层的基于Beaver 三元组的密文 乘法协议 SecMul和针对最大池化层的池化层协议 SecMaxpool； 密文乘法协议 SecMul包括： 双云平台 Si拥有ui，vi，offline阶段：①图像拥有者生成随 机数a， b， c满足c=ab， 然后对a， b， c进行加性分解并将 （ ai， bi， ci） 发送给Si；online阶段：②Si 计算 ；③Si恢复 与 ；④Si计算 ， 此 时f1+f2=uv， 即该协议完成了 。 6.根据权利要求1 ‑5任意一项所述的基于联邦学习与秘密 分享的多源密文图像检索方 法， 其特征在于， 所述的密文正负判断协议 SecSgn如下： 双云平台 Si拥有值a的秘密分享 ai， offline阶段：①图像拥有者生成随机数并发送给 Si；online阶段：②Si协同计算 SecCmp （2* ai） =bi；③Si计算 ； 密文选择协议 SS如下： 双云平台 Si拥有比特值 b的分享 ， 以及两个待选择的数值 x、 y，offline阶段：①图像拥有者生成一个随机比特值 c， 以及其在 Z2与ZL上的分享 ，ci， 并发送给 Si；②图像拥有者生成随机数并发送给 Si；online 阶段 ：③Si计算 ；④Si恢复e；⑤如e=1， 则S1令c1=1‑c1，S2令c2=‑c2；⑥Si计算resi= SecMul （yi‑xi， ci） +xi； 其中， 密文值比较协议 SecCmp如下： 双云平台 Si拥有值a的秘密分享 ai，offline阶段：① 图像拥有者生成一个随机值 x及它的对应比特； ②图像拥有者计算 x的分享值 xi及其比特位 的分享值 并发送给双云平台 Si；③图像拥有者计算 x1+x2是否大于 L， 如是， 则令 ， 否则令 ； 然后生成 在Z2上的分享 ；online 阶段：④Si计算 ， 并判断 是否大于 L， 是则令 ， 否则令 ；⑤Si恢复出r， 并判 断r1+ r2是 否 大 于 L，是 则 令 ，否 则 令 ；⑥Si协 同 计 算 出 ；⑥S1计算 ，S2计算 ； 其中， 密文比特比较协议 SecBitCmp 如下： 双云平台 Si拥有秘密值 x的所有l比特位x[t]的 一份Zp下的分享 ， 拥有一个公共的数 r的l比特位r[t]， 拥有一个随机比特 在Z2与Zp 下的一份分享 ， 以及一个随机数 m的秘密分享， offline阶段：①图像拥有者生 成随机数并发送给双云平台 Si；online阶段：②Si计算  ；③Si计算 ，S1计算 ；权　利　要　求　书 2/3 页 3 CN 113987255 B 3