图像处理设备及其操作方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115760659A(43)申请公布日2023.03.07(21)申请号202211053491.7(22)申请日2022.08.31(30)优先权数据10-2021-01179432021.09.03KR10-2022-00730652022.06.15KR(71)申请人三星电子株式会社地址韩国京畿道水原市(72)发明人徐永一金艾莉娜宋成旭(74)专利代理机构北京铭硕知识产权代理有限公司11286专利代理师张川绪史泉(51)Int.Cl.G06T5/50(2006.01)G06T5/00(2023.01)H04N25/10(2006.01)权利要求书2页说明书16页附图9页(54)发明名称图像处理设备及其操作方法(57)摘要公开了图像处理设备及其操作方法。所述图像处理设备包括：预处理器，被配置为：从图像传感器接收输入图像数据，输入图像数据包括与图像传感器的滤色器阵列对应的图案，并且通过基于与图像传感器的多个像素中的每个对应的相位信息对输入图像数据进行重构，来生成重构图像数据；以及神经网络处理器，被配置为基于输入图像数据和重构图像数据生成输出图像数据。CN115760659ACN115760659A权利要求书1/2页1.一种图像处理设备，包括：预处理器，被配置为：从图像传感器接收输入图像数据，输入图像数据包括与图像传感器的滤色器阵列对应的图案，并且通过基于与图像传感器的多个像素中的每个对应的相位信息对输入图像数据进行重构，来生成重构图像数据；以及神经网络处理器，被配置为基于输入图像数据和重构图像数据生成输出图像数据。2.如权利要求1所述的图像处理设备，其中，预处理器被配置为：基于所述相位信息和与滤色器阵列对应的图案来生成重构图像数据。3.如权利要求2所述的图像处理设备，其中，重构图像数据包括比与滤色器阵列对应的图案小的单位。4.如权利要求1所述的图像处理设备，其中，预处理器被配置为：通过分类出包括相同相位信息的输入图像数据来生成重构图像数据。5.如权利要求1所述的图像处理设备，其中，神经网络处理器被配置为执行马赛克重排操作、去马赛克操作、去噪操作、去模糊操作、伽马校正操作、高动态范围操作和色调映射操作中的至少一个。6.如权利要求1所述的图像处理设备，其中，神经网络处理器包括多个层级，并且其中，输入到所述多个层级中的每个的相应的图像数据彼此不同，相应的图像数据是输入图像数据或重构图像数据。7.如权利要求6所述的图像处理设备，其中，重构图像数据被输入到所述多个层级中的比输入图像数据被输入到的层级低的层级。8.如权利要求6所述的图像处理设备，其中，神经网络处理器包括适配层分布块，并且其中，适配层分布块被配置为：从与图像数据对应的特征图提取加权值，以及基于所述加权值计算所述特征图的加权和。9.如权利要求8所述的图像处理设备，其中，适配层分布块被配置为：通过对所述特征图执行卷积运算和激活函数运算来提取所述加权值。10.如权利要求1至9中的任一项所述的图像处理设备，其中，输入图像数据的通道数量不同于重构图像数据的通道数量。11.如权利要求10所述的图像处理设备，其中，重构图像数据的通道数量大于输入图像数据的通道数量。12.一种图像处理设备，包括：图像传感器，包括多个像素和滤色器阵列，图像传感器被配置为生成输入图像数据，输入图像数据包括与滤色器阵列对应的图案；预处理器，被配置为：通过基于与所述多个像素中的每个对应的相位信息和与滤色器阵列对应的图案对输入图像数据进行重构，来生成重构图像数据；以及神经网络处理器，被配置为基于输入图像数据和重构图像数据生成输出图像数据，其中，预处理器还被配置为：基于与滤色器阵列对应的图案来确定重构图像数据的单位，并且2CN115760659A权利要求书2/2页基于输入图像数据来生成包括确定的单位的重构图像数据。13.如权利要求12所述的图像处理设备，其中，重构图像数据包括比与滤色器阵列对应的图案小的单位。14.如权利要求12所述的图像处理设备，其中，预处理器被配置为：通过分类出包括相同相位信息的输入图像数据来生成重构图像数据。15.如权利要求12所述的图像处理设备，其中，神经网络处理器包括多个层级，并且其中，输入到所述多个层级中的每个的相应的图像数据彼此不同，相应的图像数据是输入图像数据或重构图像数据。16.如权利要求15所述的图像处理设备，其中，重构图像数据被输入到所述多个层级中的比输入图像数据被输入到的层级低的层级。17.如权利要求15所述的图像处理设备，其中，神经网络处理器包括适配层分布块，并且其中，适配层分布块被配置为：从与图像数据对应的特征图提取加权值，并且基于所述加权值计算所述特征图的加权和。18.如权利要求12至17中的任一项所述的图像