一种基于动态区域卷积的图像去模糊方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113160179A(43)申请公布日2021.07.23(21)申请号202110442873.8G06N3/08(2006.01)(22)申请日2021.04.23(71)申请人杭州电子科技大学地址310018浙江省杭州市下沙高教园区2号大街(72)发明人颜成钢徐浙峰朱尊杰李明珠徐枫孙垚棋张继勇李宗鹏张勇东(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240代理人朱月芬(51)Int.Cl.G06T7/00(2017.01)G06T5/00(2006.01)G06N3/04(2006.01)权利要求书4页说明书5页附图2页(54)发明名称一种基于动态区域卷积的图像去模糊方法(57)摘要本发明公开了一种基于动态区域卷积的图像去模糊方法，首先构造动态卷积层，在输入的不同区域中使用不同的卷积核进行卷积；然后使用动态卷积层构造生成器，将模糊图转变为清晰图像；构造判别器，与生成器构成生成对抗网络，并使用真实的清晰图像与生成器生成的清晰图像的损失网络进行训练；训练结束后，仅保留生成器；将模糊图像输入训练后的生成器即可获得清晰图像。本发明利用动态卷积，考虑到了输入数据的区域之间的差异性，针对不同区域使用不同卷积核进行卷积，从而提升特征提取能力。由动态卷积构造的生成对抗网络在单张图像去模糊任务中性能有所提升。CN113160179ACN113160179A权利要求书1/4页1.一种基于动态区域卷积的图像去模糊方法，其特征在于，包括以下步骤：步骤(1)构造动态卷积层，在输入的不同区域中使用不同的卷积核进行卷积；步骤(2)使用动态卷积层构造生成器，将模糊图转变为清晰图像；步骤(3)构造判别器，与生成器构成生成对抗网络，并使用真实的清晰图像与生成器生成的清晰图像的损失网络进行训练；步骤(4)训练结束后，仅保留生成器；将模糊图像输入训练后的生成器即可获得清晰图像。2.根据权利要求1所述的一种基于动态区域卷积的图像去模糊方法，其特征在于，步骤(1)具体方法如下：1‑1、首先初始化n个大小为O*c*K*K大小的公共卷积核，其中O、C、K分别表示输出数据的通道数、输入数据的通道数、卷积核边长；1‑2、假设输入数据Input大小为C*H*W，其中H、W分别表示高和宽；首先对输入进行一次普通的卷积操作，其中卷积核大小为m*C*3*3，步长为1，边界填充零元素的宽度为2，从而使得输出的大小为m*H*W，表示为F，其中m表示要将Input划分成的区域个数；对于F中的每个位置(u，v)，u∈[0，H‑1]，v∈[0，W‑1]都有m个通道，取其中最大值所在通道编号作为该元素所属的区域，即：其中argmax()输出最大值的下标，表示在位置(u，v)处m个通道的取值；F中Mu，v相等的位置归属于同一区域，因此F会被划分为m个区域；1‑3、对于F中的每一个区域i∈[0，m‑1]，保留属于该区域的数值，并将区域外的所有数值置为零，得到大小为1*H*W的特征图Xi；将特征图Xi作为输入，通过如下操作获得该区域的权重参数Ri：Ri＝Sigmoid(FullConnected(GAP(Xi))(2)其中，GAP()表示全局平均池化操作，FullConnected()表示使用全连接层，Sigmoid()表示使用Sigmoid激活函数，而最终的输出为n*1大小的向量；使用权重参数Ri与公共卷积核的线性组合能够得到该区域的卷积核Wi：其中，W0，...，Wn‑1表示n个公共卷积核；使用Wi对Xi卷积，即可得到对应的输出Yi，大小为O*H’*W’：其中K、P、S分别为公共卷积核的边长、填充宽度和步长；并且，根据卷积的性质能够验证，使用公共卷积核的线性组合对输入数据卷积得到的结果，与公共卷积核分别对输入数据卷积后再线性组合的结果相同，即：2CN113160179A权利要求书2/4页1‑4、由于步骤1‑2中的操作不改变每个元素的位置，因此使用步骤1‑3对所有区域操作完毕后，将所有输出求和即可得到最终输出Output，大小为O*H’*W’：1‑5、由于步骤1‑2中argmax()操作不可导，为了让反向传播正常工作从而使得整个网络顺利学习，所以在反向传播时需要将argmax()近似为一种可导的操作；首先，对F中每个位置(u，v)的每个通道值使用softmax函数进行近似，即：在softmax函数的作用下，将会趋于0或1，因此近似后都得到的与原始的的差距会很小；的梯度公式为：其中，表示张量的梯度，<，>表示点乘，即对应元素相乘后求和，输出结果为单个数2值，(·).表示对张量的每个元素求平方，输出结果大小不变；进而可以得到Fu，v梯度：其中，表示阿达玛乘积，即两个形状相同的矩阵对应位置的元素乘积，输出结果