图像补全方法、装置、设备及计算机可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965536A(43)申请公布日2023.04.14(21)申请号202111172950.9G06V10/82(2022.01)(22)申请日2021.10.08(71)申请人TCL科技集团股份有限公司地址516006广东省惠州市仲恺高新区惠风三路17号TCL科技大厦(72)发明人罗建平凌健(74)专利代理机构深圳紫藤知识产权代理有限公司44570专利代理师黄舒悦(51)Int.Cl.G06T5/00(2006.01)G06T7/11(2017.01)G06N20/00(2019.01)G06V10/44(2022.01)G06V10/80(2022.01)权利要求书2页说明书9页附图3页(54)发明名称图像补全方法、装置、设备及计算机可读存储介质(57)摘要本申请提供一种图像补全方法、装置、设备及计算机可读存储介质，方法包括：获取待补全图像的初始特征图；基于可分离卷积对初始特征图进行特征提取和分割处理，得到具有语义信息的第一特征图；基于可分离卷积对第一特征图进行特征重构，得到第二特征图；根据初始特征图与第二特征图确定图像补全后的目标特征图。基于可分离卷积实现了图像的补全，在保证图像补全性能的基础上减少数据处理步骤和结果，提升了图像补全的处理速度。CN115965536ACN115965536A权利要求书1/2页1.一种图像补全方法，其特征在于，包括：获取待补全图像的初始特征图；基于可分离卷积对所述初始特征图进行特征提取和分割处理，得到具有语义信息的第一特征图；基于可分离卷积对所述第一特征图进行特征重构，得到第二特征图；根据所述初始特征图与所述第二特征图确定图像补全后的目标特征图。2.根据权利要求1所述的方法，其特征在于，所述图像补全方法应用于包括编码器模块的图像补全网络模型，所述编码器模块具有可分离卷积层，所述基于可分离卷积对所述初始特征图进行特征提取和分割处理，得到具有语义信息的第一特征图，包括：将所述初始特征图输入所述编码器模块进行处理，输出具有语义信息的第一特征图。3.根据权利要求2所述的方法，其特征在于，所述图像补全方法应用于包括解码器模块的图像补全网络模型，所述解码器模块具有可分离卷积层，所述基于可分离卷积对所述第一特征图进行特征重构，得到第二特征图，包括：将所述第一特征图输入所述解码器模块进行特征重构处理，输出第二特征图。4.根据权利要求3所述的方法，其特征在于，所述编码器模块包括依次连接的：一阶编码单元、二阶编码单元…N阶编码单元，每个所述编码单元包括可分离卷积层，所述将所述初始特征图输入所述编码器模块进行处理，输出具有语义信息的第一特征图，包括：将所述初始特征图输入所述编码器模块，依次进行特征提取和分割处理，得到具有语义信息的第一特征图。5.根据权利要求4所述的方法，其特征在于，每个编码单元包括依次连接的一个下采样块以及至少一个编码块，且阶数大的编码单元的编码块数多于阶数小的编码单元的编码块数，所述下采样块以及编码块内分别设有可分离卷积层。6.根据权利要求5所述的方法，其特征在于，所述下采样块包括依次连接的第一可分离卷积层、第一激活函数、第一收敛层、第二可分离卷积层、第一融合层；其中，所述第一融合层和所述第一可分离卷积层之间还连接设有第三可分离卷积层，所述第一可分离卷积层的输出分别输入所述第一激活函数和所述第三可分离卷积层，所述第一融合层将所述第二可分离卷积层的输出和所述第三可分离卷积层的输出进行相加处理得到所述下采样块的输出。7.根据权利要求6所述的方法，其特征在于，所述编码块包括依次连接的第四可分离卷积层、第二激活函数、第二收敛层以及第五可分离卷积层，所述下采样块的输出作为所述编码块的输入，且输入所述第四可分离卷积层，所述第五可分离卷积层的输出为所述编码块的输出。8.根据权利要求4所述的方法，其特征在于，所述解码器模块包括依次连接的：一阶解码单元、二阶解码单元…N阶解码单元，每个所述解码单元包括可分离卷积层，所述图像补全网络模型还包括设有N‑1个跳层块的跳层连接模块，每个所述跳层块的输入端连接在相邻x阶编码单元以及x‑1阶编码单元之间，x‑1阶编码单元的输出分别输入到所述x阶编码单元和跳层块，每个所述跳层块分别输出跳层特征图，将所述跳层特征图与y阶解码单元输出进行相加处理得到相加特征图；其中，所述y阶解码单元的输出的第一解码特征图与所述跳层特征图的尺寸相同，所述相加特征图作为y+1阶解码单元的输入，所述将所述第一特征图2CN115965536A权利要求书2/2页输入所述解码器模块进行特征重构处理，输出第二特征图，包括：将所述第一特征图输入所述一阶解码单元进行特征重构处理，输出第一解码特征图；将N‑1阶编码单元的输出的编码特征图，输入到