图像处理装置以及图像处理方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115836519A(43)申请公布日2023.03.21(21)申请号202280004929.4(74)专利代理机构北京汇思诚业知识产权代理(22)申请日2022.03.15有限公司11444专利代理师龚敏王刚(30)优先权数据2021-0870692021.05.24JP(51)Int.Cl.H04N7/01(2006.01)(85)PCT国际申请进入国家阶段日G06T3/40(2006.01)2022.12.08(86)PCT国际申请的申请数据PCT/JP2022/0115032022.03.15(87)PCT国际申请的公布数据WO2022/249661JA2022.12.01(71)申请人纳维株式会社地址日本国东京都(72)发明人前田舜太乌代·蓬达里卡克沙·邦迪权利要求书3页说明书10页附图5页(54)发明名称图像处理装置以及图像处理方法(57)摘要本发明提供一种在循环方式中能够更高性能地使动态图像序列高分辨率化的图像处理装置以及图像处理方法。提供一种图像处理装置，对由多个帧构成的动态图像序列进行高分辨率化处理，该图像处理装置具备：复位判定部，其判定所述多个帧中的处理对象帧是否是复位对象帧；以及高分辨率化处理部，其具有第一机器学习模型，在所述处理对象帧不是复位对象帧的情况下，使用所述处理对象帧、所述处理对象帧的前和/或后的帧、以及在对所述处理对象帧之前的帧进行高分辨化处理时生成的特征图，生成对所述处理对象帧进行了高分辨率化的高分辨帧和特征图，在所述处理对象帧是复位对象帧的情况下，使用所述处理对象帧和所述处理对象帧的前和/或后的帧，不使用在对所述处理对象帧之前的帧进行高分辨化处理时生成的特征图，生成所述高分辨帧和所述特征图。CN115836519ACN115836519A权利要求书1/3页1.一种图像处理方法，对由多个帧构成的动态图像序列进行高分辨率化处理，所述图像处理方法具备如下步骤：判定所述多个帧中的处理对象帧是否是关键帧的步骤；(i)在判定为所述处理对象帧是关键帧的情况下，推定所述处理对象帧的高分辨率化难易度的步骤；决定计算量互不相同的多个机器学习模型中的、与推定出的高分辨率化难易度相应的机器学习模型的步骤；判定所述处理对象帧是否是与场景变换对应的关键帧的步骤；在所述处理对象帧不是与场景变换对应的关键帧的情况下，基于所决定的所述机器学习模型，由高分辨率化处理部使用所述处理对象帧、所述处理对象帧之前和/或之后的帧、以及在对所述处理对象帧之前的帧进行高分辨化处理时生成的特征图，来生成对所述处理对象帧进行了高分辨率化后的高分辨帧的步骤；在所述处理对象帧是与场景变换对应的关键帧的情况下，使用所述处理对象帧和所述处理对象帧之后的帧来生成替代特征图，基于所决定的所述机器学习模型，由高分辨率化处理部使用所述处理对象帧、所述处理对象帧之前和/或之后的帧、以及所述替代特征图，来生成对所述处理对象帧进行了高分辨率化后的高分辨帧的步骤；以及(ii)在判定为所述处理对象帧不是关键帧的情况下，基于所决定的所述机器学习模型，由高分辨率化处理部使用所述处理对象帧、所述处理对象帧之前和/或之后的帧、以及在对所述处理对象帧之前的帧进行高分辨率化处理时生成的特征图，来生成对所述处理对象帧进行了高分辨率化后的高分辨帧的步骤。2.一种图像处理装置，对由多个帧构成的动态图像序列进行高分辨率化处理，所述图像处理装置具备：复位判定部，其判定所述多个帧中的处理对象帧是否是复位对象帧；以及高分辨率化处理部，其具有第一机器学习模型，在所述处理对象帧不是复位对象帧的情况下，所述高分辨率化处理部使用所述处理对象帧、所述处理对象帧之前和/或之后的帧、以及在对所述处理对象帧之前的帧进行高分辨化处理时生成的特征图，来生成对所述处理对象帧进行了高分辨率化后的高分辨帧和特征图，在所述处理对象帧是复位对象帧的情况下，所述高分辨率化处理部使用所述处理对象帧以及所述处理对象帧之前和/或之后的帧，而不使用在对所述处理对象帧之前的帧进行高分辨化处理时生成的特征图，来生成所述高分辨帧和所述特征图。3.根据权利要求2所述的图像处理装置，其中，所述复位判定部基于所述多个帧所包含的关键帧，来判定所述处理对象帧是否是复位对象帧。4.根据权利要求2或3所述的图像处理装置，其中，所述复位判定部在所述处理对象帧是关键帧的情况下，判定为所述处理对象帧是复位对象帧。5.根据权利要求2所述的图像处理装置，其中，所述复位判定部在所述处理对象帧是与场景变换对应的帧的情况下，判定为所述处理对象帧是复位对象帧。2CN115836519A权利要求书2/3页6.根据权利要求2所述的图像处理装置，其中，所述复位判定部在所述处理对象帧是与场景变换对应的关键帧的情