视频标签确定方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113761253A(43)申请公布日2021.12.07(21)申请号202110552039.4(22)申请日2021.05.20(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人袁宇辰(74)专利代理机构广州三环专利商标代理有限公司44202代理人熊永强贾允(51)Int.Cl.G06F16/58(2019.01)G06F16/78(2019.01)G06K9/00(2006.01)G06K9/62(2006.01)G06N20/00(2019.01)权利要求书2页说明书14页附图6页(54)发明名称视频标签确定方法、装置、设备及存储介质(57)摘要本申请公开了一种视频标签确定方法、装置、设备及存储介质，属于人工智能技术领域。所述方法包括：获取待识别视频对应的至少一个目标图像；对于每个目标图像，对目标图像进行图像分类处理，生成目标图像对应的图像特征数据；将各目标图像对应的图像特征数据进行组合，得到待识别视频的视频特征数据；根据视频特征数据，确定待识别视频的至少一个类别标签。本申请实施例提供的技术方案中，通过对视频中的图像内容进行分类得到用于预测图像分类概率的图像特征数据，并将各图像的图像特征数据组合生成视频特征数据，体现图像独立特征同时还保留图像间特征，最后通过视频特征数据预测待识别视频的类别标签，有效提升视频标签识别的准确率。CN113761253ACN113761253A权利要求书1/2页1.一种视频标签确定方法，其特征在于，所述方法包括：获取待识别视频对应的至少一个目标图像；对于每个所述目标图像，对所述目标图像进行图像分类处理，生成所述目标图像对应的图像特征数据，所述图像特征数据用于预测所述目标图像属于各类别标签的概率；将各所述目标图像对应的图像特征数据进行组合，得到所述待识别视频的视频特征数据，所述视频特征数据表征视频中图像的独立特征信息以及图像间的关联特征信息；根据所述视频特征数据，确定所述待识别视频的至少一个类别标签。2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行图像分类处理，生成所述目标图像对应的图像特征数据，包括：将所述目标图像输入至图片级分类模型进行所述图像分类处理；将所述图片级分类模型中输入逻辑回归层的数据确定为所述目标图像对应的图像特征数据。3.根据权利要求2所述的方法，其特征在于，所述图片级分类模型的训练过程包括：获取类别标签集合，所述类别标签集合包括所述各类别标签；对于任一类别标签，根据所述类别标签进行搜索，得到所述类别标签下的图片搜索结果；对所述图片搜索结果进行筛选，得到所述类别标签的样本图像；根据所述样本图像和所述类别标签生成所述图片级分类模型的训练样本；基于所述训练样本优化所述图片级分类模型。4.根据权利要求1所述的方法，其特征在于，所述根据所述视频特征数据，确定所述待识别视频的至少一个类别标签，包括：将所述视频特征数据输入至标签预测模型，得到所述标签预测模型输出的标签预测向量，所述标签预测向量包括所述待识别视频属于所述各类别标签的概率值；将所述概率值降序排列，将排列结果中前预设数量个概率值对应的类别标签，确定为所述待识别视频的类别标签。5.根据权利要求4所述的方法，其特征在于，所述标签预测模型的训练过程包括：获取样本视频对应的视频特征矩阵；获取所述视频特征矩阵对应的视频级标注数据，所述视频级标注数据包括至少一个类别标签；根据所述视频特征矩阵和所述视频级标注数据生成所述标签预测模型的训练样本；基于所述训练样本优化所述标签预测模型。6.根据权利要求1至5任一项所述的方法，其特征在于，所述获取待识别视频对应的至少一个目标图像，包括：获取所述待识别视频；对所述待识别视频进行视频抽帧处理，得到至少一个目标视频帧；对所述至少一个目标视频帧进行图像预处理，得到所述至少一个目标图像。7.根据权利要求6所述的方法，其特征在于，所述对所述至少一个目标视频帧进行图像预处理，得到所述至少一个目标图像，包括：对于任一目标视频帧，将所述目标视频帧中各像素在各颜色通道上的像素值进行归一2CN113761253A权利要求书2/2页化处理，得到所述目标视频帧对应的归一化图像；将所述归一化图像中各像素在各颜色通道上的像素值，分别减去所述各颜色通道对应的像素平均值，得到差值图像；将所述差值图像中各像素在各颜色通道上的像素值，分别除以所述各颜色通道对应的像素方差值，得到所述目标视频帧对应的目标图像。8.一种视频标签确定装置，其特征在于，所述装置包括：图像获取模块，用于获取待识别视频对应的至少一个目标图像；图像特征确定模块，用于对于每个所述目标图像，对所述目标图像进行图