一种图像降噪方法、装置及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111353948A(43)申请公布日2020.06.30(21)申请号201811583920.5(22)申请日2018.12.24(71)申请人TCL集团股份有限公司地址516006广东省惠州市仲恺高新技术开发区十九号小区(72)发明人李松南马岚俞大海(74)专利代理机构深圳中一联合知识产权代理有限公司44414代理人张全文(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)G06T7/207(2017.01)G06T3/40(2006.01)权利要求书2页说明书8页附图3页(54)发明名称一种图像降噪方法、装置及设备(57)摘要一种图像降噪方法包括：获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。由于降噪图像是通过卷积神经网络自动对基础帧和对齐图像进行融合，因此可以更为准确的降低噪声，有效的保留真实场景内容，极大的提高降噪图像质量。CN111353948ACN111353948A权利要求书1/2页1.一种图像降噪方法，其特征在于，所述图像降噪方法包括：获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。2.根据权利要求1所述的图像降噪方法，其特征在于，确定所述多帧图像中包括的基础帧的步骤包括：获取所述多帧图像中的主体；计算多帧图像的主体的清晰度，选择清晰度最高的图像帧作为基础帧。3.根据权利要求2所述的图像降噪方法，其特征在于，所述计算多帧图像的主体的清晰度，选择清晰度最高的图像帧作为基础帧的步骤包括：将多帧图像转换为亮度图；在多帧图像的主体中心的周围的预定区域进行边缘滤波，获取边缘滤波的响应平均值；选择响应平均值最高的图像作为基础帧。4.根据权利要求1所述的图像降噪方法，其特征在于，所述根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像的步骤包括：将基础帧和临近帧分别分割为多个图像块；基于块的运动估计，确定临近帧的每个图像块的运动向量；根据所述运动向量对所述临近帧中的图像块重新排布，得到对齐图像。5.根据权利要求4所述的图像降噪方法，其特征在于，所述将基础帧和临近帧分别分割为多个图像块的步骤包括：将所述基础帧和临近帧进行多次高斯下采样，得到每帧图像在不同分辨率的图像；所述基于块的运动估计，确定临近帧的每个图像块的运动向量的步骤包括：对第一分辨率的基础帧和临近帧的图像块做运动估计，确定第一分辨率下的图像块所对应的第一运动向量；将所述第一运动向量传递至第二分辨率的图像块进行运动估计，对所述第一运动向量进行修正得到第二运动向量，其中，第一分辨率低于第二分辨率。6.根据权利要求1所述的图像降噪方法，其特征在于，所述通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像的步骤包括：将对齐图像和基础帧转换为单颜色的多通道图像，将对齐图像和基础帧的相同颜色的通道图像拼接；通过卷积神经网络对拼接后的图像进行融合，得到降噪图像。7.根据权利要求1所述的图像降噪方法，其特征在于，在所述通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像的步骤之前，所述方法还包括：使用相同曝光参数获取M张样本图片；确定M张样本图片中的基础帧和临近帧，将所确定的临近帧与基础帧对齐，M大于所述多帧图像的帧数；2CN111353948A权利要求书2/2页选用白平衡、去除黑电平、镜头矫正、反马赛克、颜色空间变换、锐化、增强中的一种或者多种，对基础帧和对齐图像进行图像处理，得到样本图片对应的降噪图片。8.一种图像降噪装置，其特征在于，所述图像降噪装置包括：帧图像获取单元，用于获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；对齐单元，用于根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；融合单元，用于通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。9.一种图像降噪设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。3CN111353948A说明书1/8页