模型训练、图像处理方法和设备、图像处理器及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110516545A(43)申请公布日2019.11.29(21)申请号201910661800.0(22)申请日2019.07.22(71)申请人北京迈格威科技有限公司地址100086北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人巫奇豪白雪(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人莎日娜(51)Int.Cl.G06K9/00(2006.01)G06T7/13(2017.01)G06T5/00(2006.01)权利要求书2页说明书10页附图3页(54)发明名称模型训练、图像处理方法和设备、图像处理器及介质(57)摘要本发明公开了模型训练、图像处理方法和设备、图像处理器及介质。该模型训练方法包括：获得多个成对的训练数据作为训练数据集；使用训练数据集来训练多尺度图像处理模型，其中，将成对的训练数据之中的美化前图像，通过缩放来形成不同尺度的美化前图像作为输入图像，而将成对的训练数据之中的美化后图像，通过缩放来形成不同尺度的美化后图像，作为监督图像，以通过反向传播来训练出所述多尺度图像处理模型。本发明通过采用能够适应性处理不同尺度输入图像的多尺度图像处理模型，能够获得更自然美观的图像处理效果。CN110516545ACN110516545A权利要求书1/2页1.一种多尺度图像处理模型的训练方法，其特征在于，包括：训练数据集获得步骤，获得多个成对的训练数据作为训练数据集，其中，所述成对的训练数据中包括一张美化前图像、以及与该美化前图像对应的一张美化后图像；训练步骤，使用所述训练数据集来训练所述多尺度图像处理模型，其中，将所述成对的训练数据之中的所述美化前图像，通过缩放来形成不同尺度的美化前图像作为所述多尺度图像处理模型的输入图像，而将所述成对的训练数据之中的所述美化后图像，通过缩放来形成不同尺度的美化后图像，作为所述多尺度图像处理模型的监督图像，以通过反向传播来训练出所述多尺度图像处理模型。2.如权利要求1所述的训练方法，其特征在于，其中，在所述训练数据集获得步骤，使用以下三种方式之一或者其任意组合来获得训练数据：1)获得多个满足预设条件的图像作为美化后图像，并使用模拟算法来模拟出所述多个美化后图像的美化前图像；2)通过设置拍摄装置的拍摄参数和拍摄条件，拍摄成对的图像作为一对训练数据的所述美化前图像和所述美化后图像；3)获得多个满足预设条件的图像作为美化前图像，使所述美化前图像经过图像处理，得到美化后图像。3.如权利要求1或2所述的训练方法，其特征在于，其中，所述多尺度图像处理模型包括n个图像处理子模型，这里，n为大于等于2的整数，所述n个图像处理子模型中的每一个分别用于处理相应尺度的图像，在所述训练步骤，按照以下方式，通过反向传播来训练各图像处理子模型：将所述成对的训练数据之中的所述美化前图像，通过缩放来形成n个尺度的美化前图像，其中，每个尺度的美化前图像分别作为相应图像处理子模型的输入图像，而将所述成对的训练数据之中的所述美化后图像，通过缩放来形成n个尺度的美化后图像，其中，每个尺度的美化后图像分别作为相应图像处理子模型的监督图像；使特定的第i尺度的美化前图像通过第i图像处理子模型，得到第i尺度的第i模型美化后图像，其中，i为一个大于等于1且小于等于n的整数；将所述第i尺度的第i模型美化后图像变换至第j尺度，成为第j尺度的第i模型美化后图像，并且将所述第j尺度的第i模型美化后图像与第j尺度的美化前图像结合，通过第j图像处理子模型，得到第j尺度的第j模型美化后图像，这里，j不等于i，且j为大于等于1且小于等于n的整数。4.如权利要求1或2所述的训练方法，其特征在于，在所述训练步骤中，按照以下方式，通过反向传播，单独地训练各图像处理子模型：把每张美化前图像和美化后图像缩放成不同尺度的相应美化前图像和美化后图像；把每种尺度的美化前图像和美化后图像分别作为相应尺度图像处理子模型的输入图像和监督图像，来训练得到该相应尺度图像处理子模型。5.如权利要求1所述的训练方法，其特征在于，所述美化前图像为美化前人脸图像，所述美化后图像为美化后人脸图像。6.一种图像处理方法，用于对图像中的目标进行处理，其特征在于，包括：目标提取步骤，在输入图像中找到目标的位置，并提取出目标所在的区域作为待处理2CN110516545A权利要求书2/2页图像；图像处理步骤，使所述待处理图像作为美化前图像，通过使用权利要求1～5中的任何一项所述的训练方法训练得到的多尺度图像处理模型，进行图像美化处理，得到美化后图像；前后景融合步骤，将所述美化后图像作为前景，将所述输入图像中的、所述目标所在的区域之外的部分作为背景，进行前景和后景的融合，得到目标处理图