一种图像去雨方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110288535A(43)申请公布日2019.09.27(21)申请号201910399776.8(22)申请日2019.05.14(71)申请人北京邮电大学地址100876北京市海淀区西土城路10号(72)发明人傅慧源马华东谭婧张宇曹宁(74)专利代理机构北京风雅颂专利代理有限公司11403代理人陈宙(51)Int.Cl.G06T5/00(2006.01)G06T9/00(2006.01)权利要求书2页说明书11页附图4页(54)发明名称一种图像去雨方法和装置(57)摘要本发明公开了一种图像去雨方法和装置，所述方法包括：利用编码器网络输出有雨图像的编码特征图像；根据所述编码特征图像利用注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像；根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述有雨图像的去雨图像。应用本发明可以更有效地去除图像中的雨滴，更好地保留图像原始信息，提高去雨图像质量。CN110288535ACN110288535A权利要求书1/2页1.一种图像去雨方法，其特征在于，包括：利用编码器网络输出有雨图像的编码特征图像；根据所述编码特征图像利用注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像；根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述有雨图像的去雨图像。2.根据权利要求1所述的方法，其特征在于，所述编码器网络、注意力模型和解码器网络组成的图像去雨模型的训练方法如下：获取多对训练样本，其中一对训练样本为同一场景的有雨图像和无雨图像；将同一场景的有雨图像和无雨图像做差后得到指示有雨区域的注意力掩码图像；根据所述训练样本以及得到的指示有雨区域的注意力掩码对所述图像去雨模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。3.根据权利要求2所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数过程中，具体包括：将一对训练样本中的有雨图像输入到所述图像去雨模型，并根据所述图像去雨模型输出的去雨图像与该对训练样本中的无雨图像的差异，调整所述图像去雨模型中的编码器网络和解码器网络的参数；根据所述图像去雨模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的指示有雨区域的注意力掩码的差异，调整所述注意力模型的参数。4.根据权利要求3所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数后，还包括：将所述图像去雨模型输出的去雨图像和对应的无雨图像输入到图像判别模型进行真实性判断；根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；在所述图像判别模型的判别能力达到要求，并判断所述图像去雨模型输出的去雨图像为真实时，结束所述训练过程。5.根据权利要求1-4任一所述的方法，其特征在于，所述编码器网络包括多层卷积层；以及所述利用编码器网络输出有雨图像的编码特征图像，具体包括：将所述有雨图像输入到所述编码器网络的第一层卷积层进行卷积运算得到该卷积层输出的编码特征图像；当前的卷积层对前一层的卷积层输出的编码特征图像进行卷积运算，得到当前的卷积层输出的编码特征图像；最后一层卷积层的输出为所述有雨图像的编码特征图像。6.根据权利要求5所述的方法，其特征在于，所述注意力模型包括多层转置卷积层；以及所述利用注意力模型输出所述编码特征图像的注意力特征图像，具体包括：将所述有雨图像的编码特征图像输入到所述注意力模型的第一层转置卷积层进行转2CN110288535A权利要求书2/2页置卷积运算输出该层的注意力特征图像；所述注意力模型中当前的转置卷积层对前一层的转置卷积层输出的注意力特征图像进行转置卷积运算，得到当前的转置卷积层输出的注意力特征图像；所述注意力模型中最后一层转置卷积层的输出为所述有雨图像的指示有雨区域的注意力特征图像。7.根据权利要求6所述的方法，其特征在于，所述解码器网络包括多层转置卷积点乘层；以及所述根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述有雨图像的去雨图像，具体包括：将所述有雨图像的编码特征图像以及所述注意力模型中第一层转置卷积层输出的注意力特征图像，输入到所述解码器网络的第一层转置卷积点乘层；第一层转置卷积点乘层对输入的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，进而将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；所述解码器网络中当前的转置卷积点乘层对前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，得到当前的转置