视频帧类型识别方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114170539A(43)申请公布日2022.03.11(21)申请号202010844410.X(22)申请日2020.08.20(71)申请人北京金山云网络技术有限公司地址100084北京市海淀区小营西路33号3F02室(72)发明人成超蔡媛樊鸿飞汪贤鲁方波(74)专利代理机构北京集佳知识产权代理有限公司11227代理人张建(51)Int.Cl.G06V20/40(2022.01)G06V10/74(2022.01)G06K9/62(2022.01)权利要求书2页说明书16页附图10页(54)发明名称视频帧类型识别方法、装置、电子设备及存储介质(57)摘要本公开公开了一种视频帧类型识别方法、装置、电子设备及存储介质，其中方法包括：获得视频帧序列，计算多个前序视频帧中的每个视频帧分别与目标视频帧的图像相似度；根据计算得到的图像相似度确定目标视频帧是否为关键帧。由于视频帧序列中包括目标视频帧及在视频帧序列中排序位于目标视频帧之前的多个前序视频帧，因此本公开不仅根据与目标视频帧相邻的一个前序视频帧确定目标视频帧是否为关键帧，还同时根据目标视频帧之前的多个前序视频帧来确定目标视频帧是否为关键帧。由于考虑了目标视频帧之前的多个前序视频帧与目标视频帧的图像相似度，因此本公开可以有效提高关键帧识别的准确率。CN114170539ACN114170539A权利要求书1/2页1.一种视频帧类型识别方法，其特征在于，包括：获得视频帧序列，其中，所述视频帧序列中包括目标视频帧及在所述视频帧序列中排序位于所述目标视频帧之前的多个前序视频帧；计算所述多个前序视频帧中的每个视频帧分别与所述目标视频帧的图像相似度；根据计算得到的所述图像相似度确定所述目标视频帧是否为关键帧。2.根据权利要求1所述的方法，其特征在于，所述计算所述多个前序视频帧中的每个视频帧分别与所述目标视频帧的图像相似度，包括：根据整体图像相似度和/或局部图像相似度，确定所述多个前序视频帧中的每个视频帧分别与所述目标视频帧的图像相似度，其中，所述整体图像相似度为所述多个前序视频帧中的每个视频帧的整体图像分别与所述目标视频帧的整体图像的相似度；所述局部图像相似度为所述多个前序视频帧中的每个视频帧中的局部图像分别与所述目标视频帧中的位置一致的局部图像的相似度。3.根据权利要求2所述的方法，其特征在于，所述局部图像相似度的获得过程包括：对所述前序视频帧中的每个视频帧：将分别位于该视频帧中及所述目标视频帧中的、位置一致的两个第一粒度图像块确定为一个图像块组，分别计算各图像块组中两个所述第一粒度图像块的相似度并作为局部图像相似度，其中，所述第一粒度图像块是按照第一预设图像分割方式分别将所述视频帧序列中的每个视频帧进行分割得到的图像块。4.根据权利要求2所述的方法，其特征在于，所述局部图像相似度的获得过程包括：将位于同一个所述视频帧内的各第一粒度图像块划分到多个图像块群中，将分别位于一个前序视频帧中及目标视频帧中的、相匹配的两个图像块群确定为一个图像块群组，分别计算各图像块群组中两个图像块群的相似度并作为局部图像相似度，其中，所述第一粒度图像块是按照第一预设图像分割方式分别将所述视频帧序列中的每个视频帧进行分割得到的图像块，所述相匹配的图像块群在视频帧中的位置一致。5.根据权利要求3所述的方法，其特征在于，所述局部图像相似度的获得过程包括：对所述前序视频帧中的每个视频帧：将分别位于该视频帧中及所述目标视频帧中的、位置一致的两个第二粒度图像块确定为一个图像块组，分别计算各图像块组中两个所述第二粒度图像块的相似度并作为局部图像相似度，其中，所述第二粒度图像块是按照第二预设图像分割方式分别将所述视频帧序列中的每个视频帧进行分割得到的图像块，其中，所述第一粒度图像块的尺寸与所述第二粒度图像块的尺寸不同。6.根据权利要求2所述的方法，其特征在于，所述根据整体图像相似度和/或局部图像相似度，确定所述多个前序视频帧中的每个视频帧分别与所述目标视频帧的图像相似度，包括：对各前序视频帧：对根据该前序视频帧计算得到的所述整体图像相似度和各所述局部图像相似度进行加权平均计算，将计算结果确定为该前序视频帧与所述目标视频帧的图像相似度。7.根据权利要求1所述的方法，其特征在于，所述根据计算得到的所述图像相似度确定所述目标视频帧是否为关键帧，包括：确定计算得到的各所述图像相似度中的最大值；根据所述最大值确定所述目标视频帧是否为关键帧。2CN114170539A权利要求书2/2页8.根据权利要求1所述的方法，其特征在于，所述根据计算得到的所述图像相似度确定所述目标视频帧是否为关键帧，包括：将计算得到的所述图像相似度与其对应的前序视频帧的排序权重相乘，