图像处理方法、装置、设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112258606A(43)申请公布日2021.01.22(21)申请号202011129137.9(22)申请日2020.10.21(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人宋奕兵刘虹雨刘威(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人徐立(51)Int.Cl.G06T11/40(2006.01)G06T11/20(2006.01)G06T1/00(2006.01)权利要求书2页说明书13页附图6页(54)发明名称图像处理方法、装置、设备及可读存储介质(57)摘要本申请公开了一种图像处理方法、装置、设备及可读存储介质，涉及机器学习领域。该方法包括：获取输入图像组和视觉引导数据，输入图像组中包括孔洞图像，视觉引导数据用于对孔洞区域的内容填充进行引导；提取视觉引导数据的语义特征，得到语义特征图；提取输入图像组的纹理特征，得到纹理特征图；根据语义特征图和纹理特征图，对孔洞图像中的孔洞区域进行填充，得到目标图像。通过视觉引导数据确定语义特征图，以及通过对输入图像组提取纹理特征图，从而将语义特征图和纹理特征图结合，得到目标图像，既在目标图像中涵盖了用户期望的视觉引导数据，也能够保留孔洞图像所应有的纹理特征，提高了对包含孔洞区域的孔洞图像进行图像处理的准确率。CN112258606ACN112258606A权利要求书1/2页1.一种图像处理方法，其特征在于，所述方法包括：获取输入图像组和视觉引导数据，所述输入图像组中包括孔洞图像，所述孔洞图像为具有孔洞区域的图像，所述视觉引导数据用于对所述孔洞区域的内容填充进行引导；提取所述视觉引导数据的语义特征，得到语义特征图，所述语义特征用于指示所述视觉引导数据对应的内容填充语义；提取所述输入图像组的纹理特征，得到纹理特征图，所述纹理特征用于表示所述孔洞图像的纹理分布；根据所述语义特征图和所述纹理特征图，对所述孔洞图像中的所述孔洞区域进行填充，得到目标图像。2.根据权利要求1所述的方法，其特征在于，所述提取所述视觉引导数据的语义特征，得到语义特征图，包括：对所述输入图像组进行特征提取，得到图像组特征；提取所述视觉引导数据中的线稿语义信息以及色彩语义信息；向所述图像组特征注入所述线稿语义信息和所述色彩语义信息，得到所述语义特征图。3.根据权利要求2所述的方法，其特征在于，所述图像组特征中包括n个大小不同的图像特征，n为正整数；所述向所述图像组特征注入所述线稿语义信息和所述色彩语义信息，得到所述语义特征图，包括：根据所述图像特征的大小确定对应的注入次数；向所述图像特征注入所述色彩语义信息，并以所述注入次数向所述图像特征注入所述线稿语义信息，得到所述语义特征图。4.根据权利要求3所述的方法，其特征在于，所述向所述图像特征注入所述色彩语义信息，包括：控制所述图像特征的线稿特征值趋向指定数值，并向所述图像特征注入所述色彩语义信息。5.根据权利要求2至4任一所述的方法，其特征在于，所述输入图像组中还包括随机噪音图；所述向所述图像组特征注入所述线稿语义信息和所述色彩语义信息，包括：将所述线稿语义信息与所述随机噪音图结合，注入所述图像组特征；将所述色彩语义信息与所述随机噪音图结合，注入所述图像组特征。6.根据权利要求2至4任一所述的方法，其特征在于，所述图像组特征中包括n个大小不同的图像特征，n为正整数；所述提取所述输入图像组的纹理特征，得到纹理特征图，包括：获取n个所述图像特征中的目标图像特征；对所述目标图像特征进行特征提取，得到所述纹理特征图。7.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述语义特征图和所述纹理特征图，对所述孔洞图像中的所述孔洞区域进行填充，得到目标图像，包括：根据所述语义特征图和所述纹理特征图，确定所述孔洞区域中的像素点对应的像素2CN112258606A权利要求书2/2页值，得到区域像素图；将所述区域像素图与所述孔洞图像结合，得到所述目标图像。8.根据权利要求2至4任一所述的方法，其特征在于，所述提取所述视觉引导数据中的线稿语义信息以及色彩语义信息，包括：提取所述视觉引导数据中线条绘制数据中的所述线稿语义信息，所述线条绘制数据为所述孔洞区域中接收到的线条绘制操作产生的数据；提取所述视觉引导数据中色彩设置数据中的所述色彩语义信息，所述色彩设置数据为所述孔洞区域对应的色彩设置操作产生的数据。9.一种图像处理装置，其特征在于，所述装置包括：获取模块，用于获取输入图像组和视觉引导数据，所述输入图像组中包括孔洞图像，所述孔洞图像为具有孔洞区域的图像，所述视觉引导数据用于对所述孔洞区域的内容填充进行引导；提取模块，