一种视频处理方法、装置和计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113824989A(43)申请公布日2021.12.21(21)申请号202110788685.0(22)申请日2021.07.13(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人顾章轩蒋正锴彭瑾龙王亚彪汪铖杰李季檩黄飞跃(74)专利代理机构深圳翼盛智成知识产权事务所(普通合伙)44300代理人李汉亮(51)Int.Cl.H04N21/234(2011.01)H04N21/44(2011.01)H04N21/4402(2011.01)权利要求书4页说明书22页附图7页(54)发明名称一种视频处理方法、装置和计算机可读存储介质(57)摘要本发明实施例公开了一种视频处理方法、装置和计算机可读存储介质；本发明实施例在获取待处理视频，并在待处理视频中筛选出当前需要处理的目标视频帧后，对目标视频帧进行视觉特征提取，得到目标视频帧的图像特征，然后，在图像特征中提取出目标视频帧中至少一个候选实例的实例特征，并根据实例特征，确定候选实例对应的实例权重，然后，在图像特征中提取出实例位置特征，并根据实例位置特征和实例权重，在目标视频帧中对候选实例进行分割，以在候选实例中筛选出目标实例，然后，在图像特征中提取出目标实例的跟踪特征，并根据跟踪特征对目标实例进行跟踪；该方案可以提升视频处理的准确性。CN113824989ACN113824989A权利要求书1/4页1.一种视频处理方法，其特征在于，包括：获取待处理视频，并在所述待处理视频中筛选出当前需要处理的目标视频帧；对所述目标视频帧进行视觉特征提取，得到所述目标视频帧的图像特征；在所述图像特征中提取出所述目标视频帧中至少一个候选实例的实例特征，并根据所述实例特征，确定所述候选实例对应的实例权重，所述实例权重用于指示所述候选实例在所述目标视频帧中每一像素位置的权重；在所述图像特征中提取出实例位置特征，并根据所述实例位置特征和实例权重，在所述目标视频帧中对所述候选实例进行分割，以在所述候选实例中筛选出目标实例；在所述图像特征中提取出所述目标实例的跟踪特征，并根据所述跟踪特征对所述目标实例进行跟踪。2.根据权利要求1所述的视频处理方法，其特征在于，所述根据所述实例特征，确定所述候选实例对应的实例权重，包括：获取所述目标视频帧对应的预设卷积核；将所述实例特征添加至所述预设卷积核，得到所述候选实例对应的目标卷积核；根据所述目标卷积核，确定所述候选实例对应的实例权重。3.根据权利要求1所述的视频处理方法，其特征在于，所述在所述图像特征中提取出实例位置特征，包括：采用训练后视频处理模型的实例分割网络在所述图像特征中提取出所述候选实例的掩膜特征；将所述掩膜特征进行融合，并将融合后掩膜特征与预设坐标特征进行拼接，得到所述目标视频帧对应的实例位置特征。4.根据权利要求3所述的视频处理方法，其特征在于，所述根据所述实例位置特征和实例权重，在所述目标视频帧中对所述候选实例进行分割，以在所述候选实例中筛选出目标实例，包括：将所述实例权重作为所述候选实例的卷积参数，并基于所述卷积参数，对所述实例位置特征进行卷积处理，得到所述候选实例在所述目标视频帧中的实例分割值；当所述实例分割值超过预设分割阈值时，将所述候选实例作为所述目标视频帧中真实存在的目标实例。5.根据权利要求3所述的视频处理方法，其特征在于，所述采用训练后视频处理模型的实例分割网络在所述图像特征中提取出所述候选实例的掩膜特征之前，还包括：获取视频帧样本对，所述视频帧样本对包括目标视频帧样本和与所述目标视频帧样本相邻的参考视频帧样本，所述视频帧样本对包括标注实例的实例帧；采用预设视频处理模型分别预测所述目标视频帧样本和参考视频帧样本的预测实例和所述预测实例对应的样本跟踪特征；根据所述标注实例、预测实例和样本跟踪特征对所述预设视频处理模型进行收敛，得到所述训练后视频处理模型。6.根据权利要求5所述的视频处理方法，其特征在于，所述根据所述标注实例、预测实例和样本跟踪特征对所述预设视频处理模型进行收敛，得到所述训练后视频处理模型，包括：2CN113824989A权利要求书2/4页获取所述预测实例对应的位置信息，并根据位置信息，确定所述视频帧样本对的位置损失信息；根据所述标注实例和预测实例，确定所述视频帧样本对的实例损失信息；基于所述样本跟踪特征，确定所述视频帧样本对的跟踪损失信息；将所述位置损失信息、实例损失信息和跟踪损失信息进行融合，并基于融合后损失信息对预设视频处理模型进行收敛，得到所述训练后视频处理模型。7.根据权利要求6所述的视频处理方法，其特征在于，所述预测实例包括预测目标实例和预测参考实例，所述根据所述标注实例和预测实