基于时序图像数据的指定对象擦除方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113962964A(43)申请公布日2022.01.21(21)申请号202111243504.2(22)申请日2021.10.25(71)申请人北京影谱科技股份有限公司地址100125北京市朝阳区朝阳公园南路3号楼6层601内702室(72)发明人孙澒椿(74)专利代理机构北京知呱呱知识产权代理有限公司11577代理人丁彦峰(51)Int.Cl.G06T7/00(2017.01)G06T5/50(2006.01)权利要求书4页说明书10页附图3页(54)发明名称基于时序图像数据的指定对象擦除方法及装置(57)摘要基于时序图像数据的指定对象擦除方法及装置，采用自定义数据集进行迁移学习，获得符合使用场景的对象识别模型；确定源视频的目标擦除对象，通过对象识别模型对目标擦除对象描述；对目标擦除对象所处区域进行掩膜处理，生成掩膜视频；将源视频和掩膜视频作为输入，进行目标擦除对象的光流场计算，预估目标擦除对象在源视频中的动态趋势；判断目标擦除对象在源视频中的动态趋势是否超过预设的动态程度；当目标擦除对象在源视频中的动态趋势超过预设的动态程度，进行目标擦除对象与背景的像素融合。本发明能够使擦除区域与背景过渡更加自然，达到擦除目标对象的完全擦除，使擦除对象区域与背景相融合在观感上无法感受到擦除痕迹，提升感官体验。CN113962964ACN113962964A权利要求书1/4页1.基于时序图像数据的指定对象擦除方法，其特征在于，包括：对象识别：采用自定义数据集进行迁移学习，获得符合使用场景的对象识别模型；擦除对象指定：确定源视频的目标擦除对象，通过所述对象识别模型对所述目标擦除对象描述；掩膜处理：对所述目标擦除对象所处区域进行掩膜处理，生成掩膜视频；光流场处理：将所述源视频和所述掩膜视频作为输入，进行所述目标擦除对象的光流场计算，预估所述目标擦除对象在所述源视频中的动态趋势；对象擦除处理：判断所述目标擦除对象在所述源视频中的动态趋势是否超过预设的动态程度；当所述目标擦除对象在所述源视频中的动态趋势超过预设的动态程度，进行目标擦除对象与背景的像素融合。2.根据权利要求1所述的基于时序图像数据的指定对象擦除方法，其特征在于，将所述自定义数据集的自定义数据划分为两级类别，一级类别为对象大类，二级类别为对应于对象大类的对象子类。3.根据权利要求1所述的基于时序图像数据的指定对象擦除方法，其特征在于，通过所述对象识别模型对所述目标擦除对象描述方式包括：box识别框或目标擦除对象的外轮廓。4.根据权利要求1所述的基于时序图像数据的指定对象擦除方法，其特征在于，所述源视频和掩膜视频尺寸相同，源视频和掩膜视频的每帧内容一一对应；将源视频和掩膜视频拆分成帧图像序列，依据掩膜标注区域将帧图像序列划分成n个区域，并针对于每个区域计算光流场，光流场计算公式为：其中，i，j为视频帧序号，I为帧图像，为计算光流模型。5.根据权利要求4所述的基于时序图像数据的指定对象擦除方法，其特征在于，对所述目标擦除对象进行正向光流预估和反向光流预估：先对目标擦除对象进行正向光流计算得到目标擦除对象的粗粒度光流场描述，再通过反向光流计算修正正向光流场的噪声误差；反向光流计算修正正向光流场的噪声误差公式为：其中，i，j为视频帧序号，I为帧图像，为计算光流模型，为单应性变换，H为反向单应性变量。6.根据权利要求1所述的基于时序图像数据的指定对象擦除方法，其特征在于，所述目标擦除对象与背景的像素融合过程中，对目标擦除对象的掩膜区域内的每一个像素计算一组候选像素值，候选像素值计算公式：wr＝exp(‑er/ξ)其中，为掩膜区域在m处的候选像素值，cr为在m处的r邻域内的颜色值，wr为颜色值cr的权重；er为颜色值的一致性误差，ξ∈(0,1)为缩放系数。7.根据权利要求6所述的基于时序图像数据的指定对象擦除方法，其特征在于，通过所2CN113962964A权利要求书2/4页述候选像素值计算x，y两个方向的梯度值进行融合，x，y两个方向的梯度融合计算公式为：其中，Gx(m)，Gy(m)分别为在m处的颜色梯度估计，为掩膜区域在m处的候选像素值，cr为在m处的r邻域内的颜色值，wr为颜色值cr的权重；Δx，Δy分别为掩膜区域在m处邻域范围内的x方向和y方向的变化量。8.根据权利要求7所述的基于时序图像数据的指定对象擦除方法，其特征在于，当所述目标擦除对象在所述源视频中的动态趋势不超过预设的动态程度时，采用端到端深度学习方式进行目标擦除对象融合擦除，采用端到端深度学习方式进行目标擦除对象融合擦除过程包括：将掩膜区域进行分块处理，块的大小表示为s*Pk×k，其中s为块的数量；k为块的尺寸；P为分割的块；将源视频的帧图像去除掩