提取视频基因及基于视频基因的视频匹配方法、装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114241361A(43)申请公布日2022.03.25(21)申请号202111404825.6(22)申请日2021.11.24(71)申请人阿里巴巴（中国）有限公司地址310052浙江省杭州市滨江区长河街道网商路699号4号楼5楼508室(72)发明人陈锦生(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人李威(51)Int.Cl.G06V20/40(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书13页附图5页(54)发明名称提取视频基因及基于视频基因的视频匹配方法、装置(57)摘要本说明书一个或多个实施例提供一种提取视频基因及基于视频基因的视频匹配方法、装置，其中，所述方法包括：获取对目标视频进行拆分得到的至少两个视频片段；对所述至少两个视频片段分别进行特征提取以得到对应的至少两个片段特征；生成所述目标视频对应的目标视频基因，所述目标视频基因包含所述至少两个片段特征的信息。CN114241361ACN114241361A权利要求书1/2页1.一种视频基因的提取方法，其特征在于，包括：获取对目标视频进行拆分得到的至少两个视频片段；对所述至少两个视频片段分别进行特征提取以得到对应的至少两个片段特征；生成所述目标视频对应的目标视频基因，所述目标视频基因包含所述至少两个片段特征的信息。2.根据权利要求1所述的方法，其特征在于，所述至少两个视频片段的帧数均为预设数量，且相邻视频片段之间存在预设比例的重叠视频帧。3.根据权利要求1所述的方法，其特征在于，对所述至少两个视频片段中的任一视频片段进行特征提取，包括：将所述任一视频片段包含的多个视频帧分别输入帧级特征提取器以得到所述多个视频帧分别对应的多个帧特征；将所述多个帧特征输入片段级特征提取器以得到所述任一视频片段对应的片段特征。4.根据权利要求3所述的方法，其特征在于，所述将所述多个帧特征输入片段级特征提取器以得到所述任一视频片段对应的片段特征，包括：将包含时序位置信息的所述多个帧特征分别输入所述片段级特征提取器以得到与所述多个帧特征数量相同的多个语义特征；将所述多个语义特征的平均值作为所述任一视频片段对应的片段特征。5.根据权利要求3所述的方法，其特征在于，所述帧级特征提取器包括下述任一：EfficientNet‑B0、ResNet‑50或DenseNet；所述片段级特征提取器包括下述任一：Transformer编码器、NetVLAD或NetXVLAD。6.根据权利要求1所述的方法，其特征在于，所述生成所述目标视频对应的目标视频基因，包括：将所述至少两个片段特征作为所述目标视频对应的所述目标视频基因；或者，将所述至少两个片段特征的平均值作为所述目标视频对应的所述目标视频基因。7.根据权利要求1所述的方法，其特征在于，还包括：将所述目标视频基因与预先建立的视频基因库中的视频基因进行匹配，并将匹配成功的视频基因对应的视频识别为所述目标视频的相关视频。8.根据权利要求7所述的方法，其特征在于，所述将所述目标视频基因与预先建立的视频基因库中的视频基因进行匹配，包括：将所述目标视频基因中包含的所述至少两个片段特征分别与所述视频基因库中的视频基因进行匹配；在任一片段特征匹配成功的情况下，确定所述目标视频基因匹配成功。9.一种基于视频基因的视频匹配方法，其特征在于，包括：获取待匹配视频的目标视频基因，所述目标视频基因包含至少两个片段特征，所述至少两个片段特征由所述待匹配视频拆分得到的至少两个视频片段分别进行特征提取得到；将所述至少两个片段特征分别与视频基因库中的视频基因进行匹配，并将与任一片段特征的相似度高于预设阈值的视频基因对应的视频作为所述待匹配视频对应的匹配结果。10.一种视频基因的提取装置，其特征在于，包括：目标视频拆分单元，用于获取对目标视频进行拆分得到的至少两个视频片段；2CN114241361A权利要求书2/2页片段特征提取单元，用于对所述至少两个视频片段分别进行特征提取以得到对应的至少两个片段特征；视频基因生成单元，用于生成所述目标视频对应的目标视频基因，所述目标视频基因包含所述至少两个片段特征的信息。11.一种基于视频基因的视频匹配装置，其特征在于，包括：视频基因获取单元，用于获取待匹配视频的目标视频基因，所述目标视频基因包含至少两个片段特征，所述至少两个片段特征由所述待匹配视频拆分得到的至少两个视频片段分别进行特征提取得到；视频匹配单元，用于将所述至少两个片段特征分别与视频基因库中的视频基因进行匹配，并将与任一片段特征的相似度高于预设阈值的视频基因对应的视频作为所述待匹配视频对应的匹配