基于Transformer和去噪扩散模型的鲁棒水印方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115660931A(43)申请公布日2023.01.31(21)申请号202211357598.0(22)申请日2022.11.01(71)申请人南京信息工程大学地址210044江苏省南京市浦口区宁六路219号(72)发明人张小瑞蒋睿孙伟张小娜付章杰夏志华周志立(74)专利代理机构北京同辉知识产权代理事务所(普通合伙)11357专利代理师张恩慧(51)Int.Cl.G06T1/00(2006.01)G06N3/0455(2023.01)权利要求书3页说明书8页附图2页(54)发明名称基于Transformer和去噪扩散模型的鲁棒水印方法(57)摘要本发明公开了基于Transformer和去噪扩散模型的鲁棒水印方法，包括以下步骤：将载体图像与原始水印输入由Transformer组成的水印编码器中，生成嵌入水印的编码图像；将编码图像分三路输入无噪声层、已知噪声层和基于去噪扩散模型的未知噪声层，生成噪声图像；将噪声图像输入由Transformer组成的水印解码器中，得到提取水印；计算损失函数，并采用随机梯度下降方法更新水印编码器和水印解码器的参数；重复以上步骤，直到满足设定的训练次数，水印编码器和水印解码器训练完毕，保留水印编码器和水印解码器分别用于水印的嵌入和提取。CN115660931ACN115660931A权利要求书1/3页1.基于Transformer和去噪扩散模型的鲁棒水印方法，其特征在于，方法包括以下步骤：将载体图像离散小波变换后与原始水印输入由Transformer组成的水印编码器中，经过逆离散小波变换后生成嵌入水印的编码图像；将嵌入水印的编码图像和原始水印分三路输入无噪声层、已知噪声层和基于去噪扩散模型的未知噪声层，生成噪声图像；将噪声图像离散小波变换后输入由Transformer组成的水印解码器中，得到提取水印；根据载体图像和编码图像、原始水印与提取水印，计算损失函数，并采用随机梯度下降方法更新水印编码器和解码器的参数；重复以上步骤，直到满足设定的训练次数，水印编码器和水印解码器训练完毕，保留水印编码器和水印解码器分别用于水印的嵌入和提取。2.根据权利要求1所述的基于Transformer和去噪扩散模型的鲁棒水印方法，其特征在于，所述生成嵌入水印的编码图像的过程包括以下步骤：将载体图像IC离散小波变换后，分割为不重叠的图像块，并根据图像块内容通过线性投影生成图像块嵌入AE，同时按照图像块的顺序生成位置嵌入OE，将原始水印M线性投影为水印嵌入ME，将AE、OE和ME三者相加后得到图像嵌入IM，再将IM输入基于Transformer的水印编码器中计算，生成水印掩码MASK，将MASK加到IC之上，得到编码图像IE；IM＝AE+OE+MEMASK＝TF(IM)IE＝α×MASK+(1‑α)×IC其中，TF表示经过12个Transformer块运算，α表示嵌入强度因子。3.根据权利要求2所述的基于Transformer和去噪扩散模型的鲁棒水印方法，其特征在于，所述原始水印M由二进制字符串构成。4.根据权利要求1所述的基于Transformer和去噪扩散模型的鲁棒水印方法，其特征在于，所述生成噪声图像的过程包括以下步骤：所述无噪声层NN不对输入的编码图像做任何改动，直接输出为无噪声图像INN；INN＝IE所述已知噪声层中包括高斯模糊、高斯噪声、模拟可微JPEG压缩、真实不可微JPEG压缩、裁剪、旋转和放缩，一共7种常见噪声，添加到编码图像IE之上生成已知噪声图像IK；n＝(gb,gn,jpegs,jpegr,crop,rotation,resize)IK＝n(IE)其中，n表示一种已知噪声,gb表示高斯模糊，gn表示高斯噪声，jpegs表示模拟可微JPEG压缩，jpegr表示真实不可微JPEG压缩，crop表示裁剪，rotation表示旋转，resize表示放缩；所述基于去噪扩散模型的未知噪声层在正向过程中，对编码图像逐步添加服从正态分布的高斯噪声，经过T个采样步后，直到整张编码图像成为服从正态分布的高斯噪声；在逆向过程中，从随机生成的服从正态分布的高斯噪声出发，使用添加注意力机制的U‑Net预测上一采样步编码图像的均值和方差，并通过重参数化技巧采样出上一采样步图像，经过T个采样步后，预测出编码图像，并通过均方差损失和相对熵损失更新添加注意力机制的U‑Net2CN115660931A权利要求书2/3页的网络参数；重复以上步骤，直到经过设定的训练次数，得到具有图像生成能力的添加注意力机制的U‑Net模型；最后在采样过程中，随机生成一组服从正态分布的高斯噪声xT，输入添加注意力机制的U‑Net模型，在引导函数FN的引导下，经过T个采样步后，生成未知噪声图像IUK