图像处理方法、装置、终端设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110223228A(43)申请公布日2019.09.10(21)申请号201910407795.0(22)申请日2019.05.16(71)申请人北京奇艺世纪科技有限公司地址100080北京市海淀区北一街2号鸿城拓展大厦10、11层(72)发明人曹江龙(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人莎日娜(51)Int.Cl.G06T3/40(2006.01)G06T15/00(2011.01)G06T15/04(2011.01)权利要求书2页说明书9页附图2页(54)发明名称图像处理方法、装置、终端设备及存储介质(57)摘要本申请提供了一种图像处理方法、装置、终端设备及存储介质。在本申请中，可以将原始图像的第一纹理特征加载至全景模型的表面上，然后获取在全景模型的表面上加载的第二纹理特征，第一纹理特征包括第二纹理特征，再对第二纹理特征进行超分辨率增强处理，得到第三纹理特征，之后在全景设备的显示界面上渲染第三纹理特征。在本申请中，由于对第二纹理特征进行超分辨率增强处理，因此使得得到的第三纹理特征对应的图像的分辨率大于第二纹理特征对应的图像的分辨率，第三纹理特征对应的图像的分辨率高于现有技术中的第二纹理特征对应的图像，因此，可以提高图像的清晰度。CN110223228ACN110223228A权利要求书1/2页1.一种图像处理方法，其特征在于，所述方法包括：将原始图像的第一纹理特征加载至全景模型的表面上；获取在所述全景模型的表面上加载的第二纹理特征，所述第一纹理特征包括所述第二纹理特征；对所述第二纹理特征进行超分辨率增强处理，得到第三纹理特征，所述第三纹理特征对应的图像的分辨率大于所述第二纹理特征对应的图像的分辨率；在全景设备的显示界面上渲染所述第三纹理特征。2.根据权利要求1所述的方法，其特征在于，所述获取在所述全景模型的表面上加载的第二纹理特征，包括：确定所述全景设备的当前视角；确定所述当前视角在所述全景模型的表面上的投影区域；在所述全景模型的表面上，获取位于所述投影区域内的纹理特征，并作为所述第二纹理特征。3.根据权利要求2所述的方法，其特征在于，所述确定所述全景设备的当前视角，包括：获取所述全景设备中的陀螺仪的参数；根据所述陀螺仪的参数确定所述全景设备的当前视角。4.根据权利要求1所述的方法，其特征在于，所述对所述第二纹理特征进行超分辨率增强处理，得到第三纹理特征，包括：将所述第二纹理特征输入至超分辨率增强模型中，得到所述超分辨率增强模型输出的纹理特征，并作为第三纹理特征。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取多个样本图像集，每一个样本图像集中包括多个相同场景的样本图像，且多个相同场景的样本图像中包括至少一个高分辨率的样本图像和至少一个低分辨率的样本图像；使用所述多个样本图像集中的样本图像对预设的神经网络模型进行训练，直至所述预设的神经网络模型中的权重均收敛，得到所述超分辨率增强模型。6.根据权利要求1所述的方法，其特征在于，所述在全景设备的显示界面上渲染所述第三纹理特征，包括：获取所述全景设备的反畸变参数；基于所述反畸变参数对所述第三纹理特征进行反畸变处理，得到第四纹理特征；在全景设备的显示界面上渲染所述第四纹理特征。7.一种图像处理装置，其特征在于，所述装置包括：加载模块，用于将原始图像的第一纹理特征加载至全景模型的表面上；获取模块，用于获取在所述全景模型的表面上加载的第二纹理特征，所述第一纹理特征包括所述第二纹理特征；增强处理模块，用于对所述第二纹理特征进行超分辨率增强处理，得到第三纹理特征，所述第三纹理特征对应的图像的分辨率大于所述第二纹理特征对应的图像的分辨率；渲染模块，用于在全景设备的显示界面上渲染所述第三纹理特征。8.根据权利要求7所述的装置，其特征在于，所述获取模块包括：第一确定单元，用于确定所述全景设备的当前视角；2CN110223228A权利要求书2/2页第二确定单元，用于确定所述当前视角在所述全景模型的表面上的投影区域；第一获取单元，用于在所述全景模型的表面上，获取位于所述投影区域内的纹理特征，并作为所述第二纹理特征。9.根据权利要求8所述的装置，其特征在于，所述第一确定单元包括：获取子单元，用于获取所述全景设备中的陀螺仪的参数；确定子单元，用于根据所述陀螺仪的参数确定所述全景设备的当前视角。10.根据权利要求7所述的装置，其特征在于，所述增强处理模块包括：输入单元，用于将所述第二纹理特征输入至超分辨率增强模型中，得到所述超分辨率增强模型输出的纹理特征，并作为第三纹理特征。11.根据权利要求10所述的装置，其特征在于，所述增强处理模块还包括：第二获取单元，用于获取多个样本图像集，每