视频自动抠像方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111724400A(43)申请公布日2020.09.29(21)申请号202010605929.2G06T7/194(2017.01)(22)申请日2020.06.29(71)申请人北京高思博乐教育科技股份有限公司地址100000北京市海淀区北四环中路283号10层(72)发明人刘岩须佶成李川郭杏荣王建超高佩旭(74)专利代理机构北京方韬法业专利代理事务所(普通合伙)11303代理人党小林(51)Int.Cl.G06T7/11(2017.01)G06T7/136(2017.01)G06T7/187(2017.01)权利要求书2页说明书6页附图2页(54)发明名称视频自动抠像方法及系统(57)摘要本发明提供了一种视频自动抠像方法及系统。该方法包括：将需要执行抠像的原始视频图像输入至初始分割模型，得到原始视频图像的三元图；将显示背景区域的背景图像及三元图作为先验信息，与原始视频图像一同输出至分割模型中，得到原始视频图像的抠像结果。本发明提供的视频自动抠像方法及系统能够在无需用户提供任何先验标记的条件下，对包含前景人像的视频进行自动化的精准抠像。CN111724400ACN111724400A权利要求书1/2页1.一种视频自动抠像方法，其特征在于，包括：将需要执行抠像的原始视频图像输入至初始分割模型，得到原始视频图像的三元图，三元图包括：前景区域，背景区域以及不确定区域；将显示背景区域的背景图像及三元图作为先验信息，与原始视频图像一同输出至分割模型中，得到原始视频图像的抠像结果。2.根据权利要求1所述的视频自动抠像方法，其特征在于，初始分割模型包括：原型网络，以及预测网络。3.根据权利要求2所述的视频自动抠像方法，其特征在于，将需要执行抠像的原始视频图像输入至初始分割模型，得到原始视频图像的三元图，包括：利用原型网络，为每个图片生成32个原型掩码；利用预测网络，生成各个候选框类别的置信度，锚点的位置以及原型掩码的系数；将预测网络得到的掩码系数和原型网络得到的原型掩码进行加权求和，得到输入图像的mask；根据输入图像的mask，生成三元图。4.根据权利要求3所述的视频自动抠像方法，其特征在于，根据输入图像的mask，生成三元图，包括：通过腐蚀操作及高斯滤波操作，生成三元图。5.根据权利要求1所述的视频自动抠像方法，其特征在于，将显示背景区域的背景图像及三元图作为先验信息，与原始视频图像一同输出至分割模型中，得到原始视频图像的抠像结果，包括：根据分割模型得到的检测框将整张图的分割简化成只对人像的抠像，其它剩余部分默认为背景区域；使用3个残差网络对3个输入分别进行编码，得到3组通道数为256的特征图；使用一个由1*1卷积，批归一化等操作组成的选择器来将输入图像的特征图分别和背景的特征图以及三元图的特征图进行融合；使用一个由1*1卷积等操作构成的协调器来对视频帧的特征图以及两个选择器得到的特征图融合成一个通道数为256的特征图；通过两个不同的残差网络分支分别得到前景图片F以及透明度的蒙板α。6.根据权利要求5所述的视频自动抠像方法，其特征在于，分割模型采用有监督训练和基于真实数据的对抗训练。7.根据权利要求1所述的视频自动抠像方法，其特征在于，还包括：在得到原始视频图像的抠像结果之后，对抠像结果进行后处理。8.根据权利要求7所述的视频自动抠像方法，其特征在于，对抠像结果进行后处理，包括：使用阈值0.95对预测的蒙板α进行初步过滤；取连通域面积最大的前景作为预测的抠像前景；根据人像区域的boundingbox信息，将模型生成的预测的α蒙板还原成原图的大小并放置于原图对应的位置中。9.根据权利要求8所述的视频自动抠像方法，其特征在于，对抠像结果进行后处理，还2CN111724400A权利要求书2/2页包括：在将模型生成的预测的α蒙板还原成原图的大小并放置于原图对应的位置中之后，根据业务场景确定不必参与抠像的部分生成新的mask掩码；根据mask掩码得到最终的抠像结果。10.一种视频自动抠像系统，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至9任意一项所述的视频自动抠像方法。3CN111724400A说明书1/6页视频自动抠像方法及系统技术领域[0001]本发明涉及图像处理技术领域，特别是涉及一种视频自动抠像方法及系统。背景技术[0002]一直以来，视频都是计算机视觉领域的一个研究热点。尤其是近年来，随着互联网技术的飞速发展，在线办公，在线教育走进了人们的生活。为了提升授课视频的质量，未经后期处理的视频已不再满足学生们的日益刁钻的口味，因此如何制作高质量