一种去遮挡物模型训练方法、装置及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113673458A(43)申请公布日2021.11.19(21)申请号202110987913.7(22)申请日2021.08.26(71)申请人上海明略人工智能（集团）有限公司地址200030上海市徐汇区云锦路701号29、30、31、32层(72)发明人苏安炀唐大闰(74)专利代理机构成都众恒智合专利代理事务所(普通合伙)51239代理人刘沁(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种去遮挡物模型训练方法、装置及电子设备(57)摘要本申请提供一种去遮挡物模型训练方法、装置及电子设备，通过获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至GAN网络结构中进行模型训练，得到去遮挡物模型。通过本申请训练出来的去遮挡物模型，可以支持去除口罩、墨镜、围巾等装饰或遮挡物，从而实现去除人像图片中的遮挡物的目的。CN113673458ACN113673458A权利要求书1/2页1.一种去遮挡物模型训练方法，其特征在于，包括：获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至GAN网络结构中进行模型训练，得到去遮挡物模型。2.根据权利要求1所述的方法，其特征在于，当所述源人脸图片与所述有遮挡人脸图片为两张相同人但不完全一致的人脸时，根据所述目标输出人脸图片的98个关键点信息为所述目标输出人脸图片添加遮挡物。3.根据权利要求1所述的方法，其特征在于，当所述有遮挡人脸图片为实时拍摄得到时，则根据所述源人脸图片和所述目标输出人脸图片去除所述有遮挡人脸图片中的遮挡物。4.根据权利要求1所述的方法，其特征在于，所述将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，包括：将所述源人脸图片输入至第一编码器，生成第一特征；将所述有遮挡人脸图片输入至第二编码器，生成第二特征；通过所述第一特征和所述第二特征生成合成特征；将所述合成特征与所述98个关键点信息进行拼接，得到所述目标输出人脸图片。5.一种去遮挡物模型训练装置，其特征在于，包括：第一处理单元，用于获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；第二处理单元，用于对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；第三处理单元，用于将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至GAN网络结构中进行模型训练，得到去遮挡物模型。6.根据权利要求5所述的装置，其特征在于，当所述源人脸图片与所述有遮挡人脸图片为两张相同人但不完全一致的人脸时，根据所述目标输出人脸图片的98个关键点信息为所述目标输出人脸图片添加遮挡物。7.根据权利要求5所述的装置，其特征在于，当所述有遮挡人脸图片为实时拍摄得到时，则根据所述源人脸图片和所述目标输出人脸图片去除所述有遮挡人脸图片中的遮挡物。8.根据权利要求5所述的装置，其特征在于，所述第三处理单元具体用于：将所述源人脸图片输入至第一编码器，生成第一特征；将所述有遮挡人脸图片输入至第二编码器，生成第二特征；通过所述第一特征和所述第二特征生成合成特征；将所述合成特征与所述98个关键点信息进行拼接，得到所述目标输出人脸图片。2CN113673458A权利要求书2/2页9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行如权利要求1至4中任一项所述的去遮挡物模型训练方法。10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至4中任一项所述的去遮挡物模型训练方法。3CN113673458A说