预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共16页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112288738A(43)申请公布日2021.01.29(21)申请号202011297039.6(22)申请日2020.11.18(71)申请人新疆大学地址830046新疆维吾尔自治区乌鲁木齐市胜利路666号(72)发明人贾振红贾爱文(74)专利代理机构天津市北洋有限责任专利代理事务所12201代理人李林娟(51)Int.Cl.G06T7/00(2017.01)G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图6页(54)发明名称基于深度学习的单幅图像去雪花方法、装置及存储介质(57)摘要本发明公开了一种基于深度学习的单幅图像去雪花方法、装置及存储介质,所述方法包括:通过注意力机制,将成对的具有相同背景的含雪和无雪图像作为输入,根据网络的自动学习能力,提取雪花像素的特征生成雪花注意力图;将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入,利用U‑net网络以及残差网络恢复出无雪图像;将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入,用以训练判别器判断真假图像的能力;采用训练后的判别器对输入的图像进行特征提取,通过提取到的特征做出判断,从而使得生成器生成的图像越来越接近真实的无雪图像。本发明处理后的图像中雪花去除效果很好,而且较原图像能保留更多的细节特征;在修复被雪花覆盖的像素时避免了图像失真与模糊等问题。CN112288738ACN112288738A权利要求书1/2页1.一种基于深度学习的单幅图像去雪花方法,其特征在于,所述方法包括:通过注意力机制,将成对的具有相同背景的含雪和无雪图像作为输入,根据网络的自动学习能力,提取雪花像素的特征生成雪花注意力图;将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入,利用U-net网络以及残差网络恢复出无雪图像;将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入,用以训练判别器判断真假图像的能力;采用训练后的判别器对输入的图像进行特征提取,通过提取到的特征做出判断,从而使得生成器生成的图像越来越接近真实的无雪图像。2.根据权利要求1所述的一种基于深度学习的单幅图像去雪花方法,其特征在于,所述注意力机制通过对比学习成对的含雪与无雪图像,来识别图像中的雪花,从而提取雪花像素的特征。3.根据权利要求1所述的一种基于深度学习的单幅图像去雪花方法,其特征在于,所述无雪图像生成部分包括:编码部分和解码部分,编码部分包含4个下采样层,每个下采样层包含一个卷积层和激活层;在每一个下采样层中,将图像的分辨率降为原来的1/2,同时提取的特征数变为原来的两倍;将第一个下采样层输入的特征数设置为32,图像的分辨率为256*256;通过4层下采样操作后,得到的特征数为512,图像的分辨率为16*16;在U-net的第五层,使用残差网络来提高网络的感受野;解码部分使用了跳跃连接,将下采样层的输出与具有相同分辨率的上采样层输出合并,输入到下一上采样层中;上采样层结构与下采样层结构相同,每一个上采样层使得图像的分辨率变为原来的两倍,特征数降为原来的1/2;经过4层上采样操作,得到解码后的无雪图像特征,特征数为32,图像分辨率为256*256;通过Tanh层,使用无雪图像特征恢复出彩色的无雪图像。4.根据权利要求1所述的一种基于深度学习的单幅图像去雪花方法,其特征在于,所述方法通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。5.一种基于深度学习的单幅图像去雪花装置,其特征在于,所述装置包括:提取模块,用于通过注意力机制,将成对的具有相同背景的含雪和无雪图像作为输入,根据网络的自动学习能力,提取雪花像素的特征生成雪花注意力图;无雪图像生成模块,用于将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入,利用U-net网络以及残差网络恢复出无雪图像;训练模块,用于将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入,用以训练判别器判断真假图像的能力;生成模块,用于采用训练后的判别器对输入的图像进行特征提取,通过提取到的特征做出判断,从而使得生成器生成的图像越来越接近真实的无雪图像。6.根据权利要求5所述的一种基于深度学习的单幅图像去雪花装置,其特征在于,所述提取模块包括:注意力机制单元,所述注意力机制单元,用于通过对比学习成对的含雪与无雪图像,来识别图像中的雪花,从而提取雪花像素的特征。2CN112288738A权利要求书2/2页7.根据权利要求5所述的一种基于深度学习的单幅图像去雪花装置,其特征在于,所述所述装置还包括:计算模块,用于通过感知损失计算无雪图像生成部分输出图像的特征与