视频中嵌入图像的方法、平面预测模型获取方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113766147A(43)申请公布日2021.12.07(21)申请号202011004707.1(22)申请日2020.09.22(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人周芳汝安山杨玫(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人许蓓(51)Int.Cl.H04N5/265(2006.01)权利要求书3页说明书11页附图4页(54)发明名称视频中嵌入图像的方法、平面预测模型获取方法和装置(57)摘要本公开提出一种视频中嵌入图像的方法、平面预测模型获取方法和装置，涉及图像处理领域。其中的方法包括：将一段视频的视频帧图像输入平面预测模型，获取预测的视频帧图像的平面掩码，其中，所述平面预测模型是利用带有平面检测框和平面掩码的标签的训练图像对深度学习模型训练得到的；将欲嵌入图像嵌入到预测的视频帧图像的平面掩码。通过自动寻找各个视频帧图像中广泛存在的平面掩码，将欲嵌入图像嵌入到平面掩码，不仅使图像自动地和自然地融合到视频中，而且使图像更广泛地融合到视频中。CN113766147ACN113766147A权利要求书1/3页1.一种视频中嵌入图像的方法，其特征在于，包括：将一段视频的视频帧图像输入平面预测模型，获取预测的视频帧图像的平面掩码，其中，所述平面预测模型是利用带有平面检测框和平面掩码的标签的训练图像对深度学习模型训练得到的；将欲嵌入图像嵌入到预测的视频帧图像的平面掩码。2.根据权利要求1所述的方法，其特征在于，所述平面预测模型是利用带有平面检测框和平面掩码的标签以及平面掩码中4个关键点的标注信息的训练图像对深度学习模型训练得到的；将一段视频的视频帧图像输入平面预测模型之后，获取预测的视频帧图像的平面掩码以及其中的4个关键点；所述将欲嵌入图像嵌入到预测的视频帧图像的平面掩码包括：将欲嵌入图像的4个顶点与预测的视频帧图像的平面掩码中的4个关键点对齐，并将欲嵌入图像嵌入到预测的视频帧图像的平面掩码中的4个关键点相应的位置区域。3.根据权利要求2所述的方法，其特征在于，训练图像中的平面掩码中4个关键点的标注信息通过以下方法获得：将训练图像的平面掩码从像素坐标系转换到平面坐标系；在平面坐标系下确定平面掩码的边界线；基于平面掩码的边界线，在平面坐标系下确定平面掩码的内接矩形；将平面掩码的内接矩形的4个顶点从平面坐标系转换到像素坐标系。4.根据权利要求3所述的方法，其特征在于，将训练图像的平面掩码从像素坐标系转换到平面坐标系包括：将训练图像的平面掩码从像素坐标系转换到世界坐标系；将训练图像的平面掩码从世界坐标系转换到平面坐标系。5.根据权利要求3所述的方法，其特征在于，在平面坐标系下确定平面掩码的边界线包括：在平面坐标系下对平面掩码进行边缘检测；基于检测到的平面掩码的边缘，在平面坐标系下对平面掩码进行霍夫直线检测；确定检测到的直线是平面掩码的边界线的概率；基于所述概率，从检测到的直线中确定平面掩码在平面坐标系下的一条边界线。6.根据权利要求5所述的方法，其特征在于，确定检测到的直线是平面掩码的边界线的概率包括：根据直线两侧对称区域的差异信息，确定检测到的直线是平面掩码的边界线的概率，其中，直线两侧对称区域的差异越大，该直线是平面掩码的边界线的概率越大。7.根据权利要求5所述的方法，其特征在于，从检测到的直线中确定平面掩码在平面坐标系下的一条边界线包括：从检测到的直线中选择具有垂直关系和平行关系的直线对；在寻找到直线对的情况下，将概率和最高的直线对中的概率最高的直线，确定为平面掩码在平面坐标系下的一条边界线；在未寻找到直线对的情况下，将概率最高的直线，确定为平面掩码在平面坐标系下的2CN113766147A权利要求书2/3页一条边界线。8.根据权利要求5所述的方法，其特征在于，确定平面掩码在平面坐标系下的边界线还包括以下至少一个步骤：在边缘检测之前，在平面坐标系下对平面掩码进行中值滤波；在霍夫直线检测之后，基于直线的斜率对检测到的直线进行合并。9.根据权利要求3所述的方法，其特征在于，在平面坐标系下确定平面掩码的内接矩形包括：在平面坐标系下确定与所述边界线平行的平面掩码的内接矩形，所述内接矩形包括最大内接正方形。10.根据权利要求2所述的方法，其特征在于，所述将欲嵌入图像嵌入到预测的视频帧图像的平面掩码包括：根据欲嵌入图像的4个顶点与预测的视频帧图像的平面掩码中的4个关键点的映射关系，确定欲嵌入图像到预测的视频帧图像的平面掩码的变换矩阵；基于所述变换矩阵，将欲嵌入图像的每个前景点变换到预测的视频帧图像的平面掩码中的4