图像抠图方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035135A(43)申请公布日2022.09.09(21)申请号202210788336.3G06N3/04(2006.01)(22)申请日2022.07.06G06N3/08(2006.01)(71)申请人杭州王道控股有限公司地址310052浙江省杭州市滨江区长河街道众创路355号云际创新中心1幢1601室(72)发明人谢家柯唐勇熊伟王铮(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师王娇娇(51)Int.Cl.G06T7/11(2017.01)G06T7/194(2017.01)G06V10/44(2022.01)G06V10/80(2022.01)权利要求书3页说明书10页附图2页(54)发明名称图像抠图方法、装置、电子设备及存储介质(57)摘要本发明提供一种图像抠图方法、装置、电子设备及存储介质，能够预先对三分支编码器训练得到抠图模型，抠图模型中的第一编码器分支用于提取彩色图的特征；抠图模型中的第二编码器分支用于提取三分图的特征；抠图模型中的第三编码器分支用于提取彩色图与三分图的叠加图的特征，在叠加图的特征中融合彩色图的特征和三分图的特征，并基于融合后的叠加图的特征输出消光图。对于待处理的目标彩色图及其对应的目标三分图，通过将目标彩色图、目标三分图、以及目标彩色图与目标三分图的目标叠加图分别输入至抠图模型中的第一编码器分支、第二编码器分支和第三编码器分支，即可获得由所述抠图模型中的第三编码器分支所输出的目标消光图，以此完成背景去除。CN115035135ACN115035135A权利要求书1/3页1.一种图像抠图方法，其特征在于，所述方法包括：获取待处理的目标彩色图、以及所述目标彩色图对应的目标三分图；调取抠图模型；其中，所述抠图模型是预先对三分支编码器训练得到的；所述抠图模型中的第一编码器分支用于提取彩色图的特征；所述抠图模型中的第二编码器分支用于提取三分图的特征；所述抠图模型中的第三编码器分支用于提取所述彩色图与所述三分图的叠加图的特征，在所述叠加图的特征中融合所述彩色图的特征和所述三分图的特征，并基于融合后的叠加图的特征输出消光图；将所述目标彩色图、所述目标三分图、以及所述目标彩色图与所述目标三分图的目标叠加图分别输入至所述抠图模型中的第一编码器分支、第二编码器分支和第三编码器分支，并获取由所述抠图模型中的第三编码器分支所输出的目标消光图。2.根据权利要求1所述的方法，其特征在于，对所述三分支编码器训练得到所述抠图模型的过程，包括：获取用于本次训练的样本彩色图、以及所述样本彩色图对应的样本三分图，所述样本彩色图和所述样本三分图被标注有标准消光图；将所述样本彩色图、所述样本三分图、以及所述样本彩色图与所述样本三分图的样本叠加图分别输入至所述三分支编码器中的第一编码器分支、第二编码器分支和第三编码器分支中，以实现：所述三分支编码器中的第一编码器分支提取所述样本彩色图的特征；所述三分支编码器中的第二编码器分支提取所述样本三分图的特征；所述三分支编码器中的第三编码器分支提取所述样本叠加图的特征，并在提取所述样本叠加图的特征的下采样阶段/上采样阶段，在高频信息与低频信息之间对下采样阶段所挖掘的特征/上采样阶段所重建的特征中融合所述样本彩色图的特征和所述样本三分图的特征；获取所述三分支编码器中第三编码器分支所输出的预测消光图，并根据所述标注消光图与所述预测消光图确定所述三分支编码器的损失函数值；如果所述损失函数值不满足对应的条件，则返回执行所述获取用于本次训练的样本彩色图、以及所述样本彩色图对应的样本三分图，这一步骤；如果所述损失函数值满足对应的条件，则结束对所述三分支编码器的训练，并将训练后的所述三分支编码器作为所述抠图模型。3.根据权利要求2所述的方法，其特征在于，所述对下采样阶段所挖掘的特征/上采样阶段所重建的特征中融合所述样本彩色图的特征和所述样本三分图的特征，包括：将所述样本彩色图的特征作为查询向量和键值向量，通过预设相似度算法确定所述样本彩色图的特征与下采样阶段所挖掘的特征/上采样阶段所重建的特征之间相似度；以及，将所述样本三分图的特征作为查询向量和键值向量，通过预设相似度算法确定所述样本三分图的特征与下采样阶段所挖掘的特征/上采样阶段所重建的特征之间相似度；根据所述样本彩色图的特征所对应的相似度、以及所述样本三分图的特征所对应的相似度分别确定所述样本彩色图的特征和所述样本三分图的特征各自的权重；按照所述样本彩色图的特征和所述样本三分图的特征各自的权重，将样本彩色图的特征和所述样本三分图的特征融合至下采样阶段所挖掘的特征/上采样阶段所重建的特征2CN115035135A权利要求书2/3页中。4.根据权利要求2所述的方法，其