视频处理方法、装置、设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114266778A(43)申请公布日2022.04.01(21)申请号202111580218.5(22)申请日2021.12.22(71)申请人北京奕斯伟计算技术有限公司地址100176北京市北京经济技术开发区科创十街18号院3号楼1层101室(72)发明人胡可飞邓帆朱思(74)专利代理机构北京市立方律师事务所11330代理人张筱宁(51)Int.Cl.G06T7/10(2017.01)权利要求书3页说明书17页附图5页(54)发明名称视频处理方法、装置、设备以及存储介质(57)摘要本申请实施例公开了一种视频处理方法、装置、设备以及存储介质。该方法包括：对初始视频帧序列进行图像分割处理，确定图像分割结果；基于图像分割结果，确定初始视频帧序列中的目标子视频帧序列，目标子视频帧序列由包括目标对象的连续视频帧组成，目标子视频帧序列的帧数小于初始视频帧序列的帧数；基于目标子视频帧序列，生成目标视频帧序列，目标视频帧序列中的各视频帧包括目标对象，目标视频帧序列的帧数大于目标子视频帧序列的帧数。采用本申请实施例，可基于初始视频帧序列中的一段由包括目标对象的连续视频帧组成的目标子视频帧序列，生成各视频帧包括目标对象的目标视频帧序列，适用性高。CN114266778ACN114266778A权利要求书1/3页1.一种视频处理方法，其特征在于，所述方法包括：对初始视频帧序列进行图像分割处理，确定图像分割结果；基于所述图像分割结果，确定所述初始视频帧序列中的目标子视频帧序列，所述目标子视频帧序列由包括目标对象的连续视频帧组成，所述目标子视频帧序列的帧数小于所述初始视频帧序列的帧数；基于所述目标子视频帧序列，生成目标视频帧序列，所述目标视频帧序列中的各视频帧包括所述目标对象，所述目标视频帧序列的帧数大于所述目标子视频帧序列的帧数。2.根据权利要求1所述的方法，其特征在于，所述图像分割结果包括所述初始视频帧序列中的各视频帧所包括的多个对象的掩码特征；所述基于所述图像分割结果，确定所述初始视频帧序列中的目标子视频帧序列，包括：从所述初始视频帧序列中的各视频帧所包括的多个对象的掩码特征中，确定目标对象的目标掩码特征；基于所述目标对象的目标掩码特征，确定所述初始视频帧序列中的目标子视频帧序列。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标子视频帧序列，生成目标视频帧序列，包括：基于所述目标子视频帧序列中的多个视频帧包括的所述目标对象的目标掩码特征，依次确定所述初始视频帧序列中除所述目标子视频帧序列外的其他视频帧对应于所述目标对象的目标掩码特征；其中，所述目标子视频帧序列之后的每一视频帧对应的目标掩码特征，是基于该视频帧的前一个视频帧对应的目标掩码特征确定的，第一视频帧对应的目标掩码特征是基于所述目标子视频帧序列中的最后一个视频帧对应的目标掩码特征确定的，所述第一视频帧为所述目标子视频帧序列之后的第一个视频帧；所述目标子视频帧序列之前的每一视频帧对应的目标掩码特征，是基于该视频帧的后一个视频帧对应的目标掩码特征确定的，第二视频帧对应的目标掩码特征是基于所述目标子视频帧序列中的第一个视频帧对应的目标掩码特征确定的，所述第二视频帧为所述目标子视频帧序列之前的最后一个视频帧；基于所述目标子视频帧序列中的各视频帧对应的目标掩码特征、以及所述初始视频帧序列中除所述目标子视频帧序列外的其他视频帧对应的目标掩码特征，生成掩码特征序列；基于所述掩码特征序列对应的各视频帧，生成目标视频帧序列。4.根据权利要求3所述的方法，其特征在于，基于所述目标子视频帧序列中的最后一个视频帧对应的目标掩码特征，确定所述第一视频帧对应的目标掩码特征，包括：确定所述目标子视频帧序列中的至少一个第三视频帧，每一所述第三视频帧为所述目标子视频帧序列中的任一视频帧；基于所述目标子视频帧序列中的最后一个视频帧及其对应的目标掩码特征、和各所述第三视频帧及其对应的目标掩码特征，确定所述第一视频帧对应的预测目标掩码特征；基于所述目标子视频帧序列中的最后一个视频帧对应的目标掩码特征和所述预测目标掩码特征，确定所述第一视频帧对应的目标掩码特征。2CN114266778A权利要求书2/3页5.根据权利要求4所述的方法，其特征在于，所基于所述目标子视频帧序列中的最后一个视频帧及其对应的目标掩码特征、和各所述第三视频帧及其对应的目标掩码特征，确定所述第一视频帧对应的预测目标掩码特征，包括：对于每一所述第三视频帧，基于该第三视频帧及其对应的目标掩码特征，确定该第三视频帧对应的第一图像特征和第一上下文特征；将各所述第一图像特征进行融合得到第一融合图像特征，将各所述第一上下文特征融合得到融合上下文特征；对所述目标子视频帧序列中的最后