图像处理、图像处理网络训练方法、装置、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113822123A(43)申请公布日2021.12.21(21)申请号202110685710.2(22)申请日2021.06.21(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人周昵昀种晓雅姚建华(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人张所明(51)Int.Cl.G06K9/00(2006.01)G06K9/40(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书20页附图8页(54)发明名称图像处理、图像处理网络训练方法、装置、设备及介质(57)摘要本申请公开了一种图像处理、图像处理网络训练方法、装置、设备及介质，属于人工智能技术领域。本申请实施例，对于图像序列，除了提取时序特征之外，还创新性地获取图像序列的空间特征，这样提取到的特征不仅能够体现图像序列中至少两个图像中时序上的相关性，还能够体现图像序列中至少两个图像中空间上的相关性，综合两种特征进行图像重构，能够使得目标图像中融合有图像序列中更多的特征，从而提高目标图像的信噪比和准确性。CN113822123ACN113822123A权利要求书1/3页1.一种图像处理方法，其特征在于，所述方法包括：根据图像序列中至少两个图像的顺序，获取所述图像序列的时序特征；根据所述图像序列中所述至少两个图像之间像素的位置变化，获取所述图像序列的空间特征；基于所述图像序列的所述时序特征和所述空间特征，进行图像重构，得到目标图像，所述目标图像中融合有所述图像序列中所述至少两个图像的内容。2.根据权利要求1所述的方法，其特征在于，所述根据所述图像序列中所述至少两个图像之间像素的位置变化，获取所述图像序列的空间特征，包括：对所述图像序列中第一图像和第二图像进行下采样，得到所述第一图像和所述第二图像的特征，所述第一图像为所述图像序列中的一个图像，所述第二图像为所述图像序列中除所述第一图像之外的图像；对所述第一图像和第二图像的特征进行卷积处理，得到所述第二图像中像素相对于所述第一图像中对应像素的位移；基于所述图像序列中所述第一图像和所述第二图像的特征，以及所述第二图像中像素相对于所述第一图像中对应像素的位移，对所述第二图像和所述第一图像中像素进行对齐，得到所述图像序列的空间特征。3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像和第二图像的特征进行卷积处理，得到所述第二图像中像素相对于所述第一图像中对应像素的位移，包括：对所述第一图像和所述第二图像的特征进行连接，得到第一特征；对所述第一特征进行卷积处理，得到所述第二图像中像素相对于所述第一图像中对应像素的位移；所述基于所述图像序列中所述第一图像和所述第二图像的特征，以及所述第二图像中像素相对于所述第一图像中对应像素的位移，对所述第二图像和所述第一图像中像素进行对齐，得到所述图像序列的空间特征，包括：对所述第一图像和所述第二图像的特征，以及所述第二图像中像素相对于所述第一图像中对应像素的位移进行可形变卷积处理，得到所述第二图像的空间特征；将所述第一图像的特征作为所述第一图像的空间特征。4.根据权利要求3所述的方法，其特征在于，所述对所述第一图像和第二图像的特征进行卷积处理，得到所述第二图像中像素相对于所述第一图像中对应像素的位移；基于所述图像序列中所述第一图像和所述第二图像的特征，以及所述第二图像中像素相对于所述第一图像中对应像素的位移，对所述第二图像和所述第一图像中像素进行对齐，得到所述图像序列的空间特征，包括：基于过滤级联可形变卷积网络，对所述第一图像和所述第二图像的特征进行处理，得到所述图像序列的空间特征。5.根据权利要求4所述的方法，其特征在于，所述过滤级联可形变卷积网络包括级联的至少两层可形变卷积网络；所述基于过滤级联可形变卷积网络，对所述第一图像和所述第二图像的特征进行处理，得到所述图像序列的空间特征，包括：将所述第一图像和所述第二图像的特征输入一层可形变卷积网络中，由所述可形变卷2CN113822123A权利要求书2/3页积网络对输入的特征进行处理，得到第二特征；对所述第一图像和所述第二图像的特征进行去噪处理，将去噪处理后的特征输入其他层可形变卷积网络，由所述其他层可形变卷积网络对输入的特征进行处理，得到第三特征；基于所述第二特征和所述第三特征，获取所述第二图像的空间特征；将所述第一图像的特征作为所述第一图像的空间特征。6.根据权利要求2所述的方法，其特征在于，所述对所述第一图像和第二图像的特征进行卷积处理，得到所述第二图像中像素相对于所述第一图像中对应像素的位