图像处理方法和装置、图像重建模型的训练方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115082322A(43)申请公布日2022.09.20(21)申请号202210886954.1(22)申请日2022.07.26(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人李艾瑾李根孙磊(74)专利代理机构华进联合专利商标代理有限公司44224专利代理师李文渊(51)Int.Cl.G06T3/40(2006.01)G06N3/04(2006.01)权利要求书4页说明书33页附图9页(54)发明名称图像处理方法和装置、图像重建模型的训练方法和装置(57)摘要本申请涉及一种人工智能的图像处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取原始全向图像中多个像素点分别对应的位置信息；基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特征；对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征；根据所述上采样特征重建得到目标全向图像，所述目标全向图像的分辨率大于所述原始全向图像的分辨率。采用本方法能够提高超分辨率重建的准确性。CN115082322ACN115082322A权利要求书1/4页1.一种图像处理方法，其特征在于，所述方法包括：获取原始全向图像中多个像素点分别对应的位置信息；基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特征；对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征；根据所述上采样特征重建得到目标全向图像，所述目标全向图像的分辨率大于所述原始全向图像的分辨率。2.根据权利要求1所述的方法，其特征在于，所述位置信息包括像素点在图像坐标系中的坐标信息；所述基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息，包括：基于多个所述像素点各自对应的坐标信息，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；对多个所述像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息。3.根据权利要求2所述的方法，其特征在于，所述基于多个所述像素点各自对应的坐标信息，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子，包括：确定所述原始全向图像的高度和宽度；获取第一坐标转换系数，根据所述原始全向图像的高度和宽度、多个所述像素点各自对应的坐标信息和所述第一坐标转换系数，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；所述对多个所述像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息，包括：基于第二坐标转换系数和多个所述像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息；根据每个所述像素点的角坐标信息，形成所述原始全向图像对应的全局角坐标信息。4.根据权利要求1所述的方法，其特征在于，所述对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征，包括：基于所述融合特征进行不同层次的特征提取，得到不同层次的特征；将所述不同层次的特征进行逐像素融合，得到残差融合特征；基于所述全局角坐标信息，对所述残差融合特征在空间维度进行上采样处理，得到上采样特征。2CN115082322A权利要求书2/4页5.根据权利要求4所述的方法，其特征在于，所述基于所述全局角坐标信息，对所述残差融合特征在空间维度进行上采样处理，得到上采样特征，包括：将所述残差融合特征在空间维度进行上采样处理，得到空间维度变换后的特征；对所述全局角坐标信息进行尺度提取处理，得到对应的全局尺度信息；基于所述全局尺度信息，确定所述全局角坐标信息对应的坐标偏移信息和尺度变换权重信息；根据所述坐标偏移信息和尺度变换权重信息，对所述空间维度变换后的特征进行通道变换处理，得到上采样特征。6.根据权利要求5所述的方法，其特征在于，所述基于所述全局尺度信