视频帧处理方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110442749A(43)申请公布日2019.11.12(21)申请号201910651319.3(22)申请日2019.07.18(71)申请人腾讯音乐娱乐科技（深圳）有限公司地址518000广东省深圳市前海深港合作区前湾一路1号A栋201室(72)发明人吕孟叶董治李深远(74)专利代理机构广州三环专利商标代理有限公司44202代理人郝传鑫熊永强(51)Int.Cl.G06F16/783(2019.01)G06F16/75(2019.01)G06K9/62(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)权利要求书4页说明书18页附图5页(54)发明名称视频帧处理方法及装置(57)摘要本申请公开一种视频处理方法及装置，其中，视频处理方法包括：获取目标视频帧的CNN特征和目标视频帧的局部特征，对目标视频帧的CNN特征进行降维处理，获取目标视频帧的降维CNN特征；从多个样本视频帧中获取第一视频帧，第一视频帧的降维CNN特征与目标视频帧的降维CNN特征之间的距离符合第一预设条件；获取第一视频帧的局部特征；计算第一视频帧的局部特征和目标视频帧的局部特征之间的匹配度；若匹配度符合第二预设条件，将第一视频帧作为目标视频帧的重复视频帧。采用本申请的技术方案，可以提高重复视频帧检测的准确度。CN110442749ACN110442749A权利要求书1/4页1.一种视频帧处理方法，其特征在于，包括：获取目标视频帧的卷积神经网络CNN特征和所述目标视频帧的局部特征，所述目标视频帧的局部特征包括所述目标视频帧的第一关键点和与所述第一关键点对应的特征描述子；对所述目标视频帧的CNN特征进行降维处理，获取所述目标视频帧的降维CNN特征；从多个样本视频帧中获取第一视频帧，所述第一视频帧的降维CNN特征与所述目标视频帧的降维CNN特征之间的距离符合第一预设条件；获取所述第一视频帧的局部特征，所述第一视频帧的局部特征包括所述第一视频帧中的第二关键点和与所述第二关键点对应的特征描述子；计算所述第一视频帧的局部特征和所述目标视频帧的局部特征之间的匹配度；若所述匹配度符合第二预设条件，将所述第一视频帧作为所述目标视频帧的重复视频帧。2.如权利要求1所述的方法，其特征在于，所述获取目标视频帧的卷积神经网络CNN特征，包括：获取待查询视频；对所述待查询视频进行等间隔视频截图，获得目标视频帧，所述目标视频帧为对所述待查询视频进行等间隔视频截图得到的多个视频帧中的任意一个视频帧；将所述目标视频帧输入CNN网络进行处理，获得所述目标视频帧的CNN特征。3.如权利要求1所述的方法，其特征在于，所述从多个样本视频帧中获取第一视频帧，包括：获取样本视频的CNN特征索引，所述样本视频包括所述多个样本视频帧，所述CNN特征索引用于表示根据所述多个样本视频帧的降维CNN特征聚类形成的多个聚类，每个所述聚类包含聚类中心和所述聚类中的至少一个样本视频帧的降维CNN特征；计算所述目标视频帧的降维CNN特征和所述多个聚类中每个聚类的聚类中心之间的距离，并将距离最近的聚类中心所对应的聚类作为目标聚类；计算所述目标视频帧的降维CNN特征和所述目标聚类包含的至少一个样本视频帧中每个样本视频帧的降维CNN特征之间的距离，并将距离最近的降维CNN特征所对应的样本视频帧作为第一视频帧。4.如权利要求3所述的方法，其特征在于，所述目标视频帧的局部特征包括m个第一关键点以及和所述m个关键点对应的m个第一特征描述子，一个所述第一关键点对应一个所述第一特征描述子，所述第一视频帧的局部特征包含n个第二关键点以及和所述n个第二关键点对应的n个第二特征描述子，一个所述第二关键点对应一个所述第二特征描述子，所述m为大于或者等于2的自然数，所述n为大于或者等于2的自然数；所述计算所述第一视频帧的局部特征和所述目标视频帧的局部特征之间的匹配度，包括：针对每个所述第一特征描述子，获取所述n个第二特征描述子中每个第二特征描述子与所述第一特征描述子之间的n个距离；按照从大到小的先后顺序，将所述n个距离排序形成排序队列；获取所述排序队列中排序在最后的k个距离，所述k为大于或者等于2的自然数；2CN110442749A权利要求书2/4页根据所述k个距离，确定所述第一特征描述子是与所述第一视频帧匹配的有效描述子；根据所述m个第一特征描述子中是有效描述子的数量，确定所述第一视频帧的局部特征和所述目标视频帧的局部特征之间的匹配度。5.如权利要求3或4所述的方法，其特征在于，所述获取目标视频帧的卷积神经网络CNN特征和局部特征之前，还包括：获取所述多个样本视频帧的CNN特征；采用主成分分析PCA矩阵对所述多个样本视频帧的CNN