视频识别方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114267084A(43)申请公布日2022.04.01(21)申请号202111562144.2(22)申请日2021.12.17(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人雷泽宇牟俊舟吕晶晶张政(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人彭奇蒋雅洁(51)Int.Cl.G06V40/20(2022.01)G06V20/40(2022.01)G06Q30/06(2012.01)G06N3/04(2006.01)权利要求书2页说明书15页附图4页(54)发明名称视频识别方法、装置、电子设备及存储介质(57)摘要本申请公开了一种视频识别方法、装置、电子设备及存储介质。方法包括：确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量；第一特征向量表征对应的第一图像帧的空间特征向量；从m个第一图像帧对应的第一特征向量中提取得到第二特征向量，并通过全连接层处理第二特征向量，得到第三特征向量；第二特征向量表征m个第一图像帧对应的时序特征向量；基于第三特征向量确定第一视频对应的第一对象和第二对象之间的第一行为类型；第三特征向量中的每个元素对应表征一种行为类型的概率；在第一行为类型是设定的行为类型的情况下，基于第一行为类型和第二对象的类型，确定第一视频的视频识别结果；其中，m，n均为正整数。CN114267084ACN114267084A权利要求书1/2页1.一种视频识别方法，其特征在于，所述方法包括：确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量；所述第一特征向量表征对应的第一图像帧的空间特征向量；所述第一图像帧的图像内容包括第一对象和第二对象；从所述m个第一图像帧对应的第一特征向量中提取得到第二特征向量，并通过全连接层处理所述第二特征向量，得到第三特征向量；所述第二特征向量表征所述m个第一图像帧对应的时序特征向量；基于所述第三特征向量确定所述第一视频对应的第一对象和第二对象之间的第一行为类型；所述第三特征向量中的每个元素对应表征一种行为类型的概率；在所述第一行为类型是设定的行为类型的情况下，基于所述第一行为类型和第二对象的类型，确定所述第一视频的视频识别结果；其中，m，n均为正整数。2.根据权利要求1所述的方法，其特征在于，所述确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量，包括：将m个第一图像帧中的每个第一图像帧输入第一特征提取模型，得到所述第一特征提取模型输出的每个第一图像帧的第一特征图；通过设定尺寸的卷积核，得到每个第一图像帧的第一特征图对应的n个第二特征图；将每个第一特征图对应的n个第二特征图中的每个第二特征图进行特征提取，得到每个第一图像帧对应的n个第一特征向量。3.根据权利要求2所述的方法，其特征在于，所述将m个第一图像帧中的每个第一图像帧输入第一特征提取模型，包括：对第一视频的m个第一图像帧中的每个第一图像帧按照设定比例缩放，并根据设定尺寸的裁剪框裁剪，得到处理后的m个第一图像帧；将处理后的m个第一图像帧中的每个第一图像帧输入第一特征提取模型。4.根据权利要求1所述的方法，其特征在于，所述从所述m个第一图像帧对应的第一特征向量中提取得到第二特征向量，包括：将所述m个第一图像帧对应的第一特征向量输入第二特征提取模型，得到所述第二特征提取模型输出的第二特征向量；所述第二特征提取模型用于对输入的第一特征向量进行时序特征提取，得到对应的第二特征向量。5.根据权利要求4所述的方法，其特征在于，所述第二特征提取模型包括串联的至少两个隐藏层组合；每个隐藏层组合包括串联的第一隐藏层和第二隐藏层；所述第一隐藏层用于基于输入的特征向量提取每个第一图像帧的空间特征；所述第二隐藏层用于基于输入的每个第一图像帧的空间特征输出m个第一图像帧之间的时序特征。6.根据权利要求4所述的方法，其特征在于，在所述将所述m个第一图像帧对应的第一特征向量输入第二特征提取模型之前，所述方法还包括：在样本的行为类型是设定的行为类型的情况下，删除对应的标注中的第二对象的类型，得到处理后的样本；基于处理后的样本，训练第二特征提取模型。7.根据权利要求1所述的方法，其特征在于，在所述确定第一视频的m个第一图像帧中2CN114267084A权利要求书2/2页的每个第一图像帧对应的n个第一特征向量之前，所述方法还包括：将第二视频的多个第二图像帧输入识别模型，得到所述识别模型输出的图像识别结果；将对应的图像识别结果满足设定拼接条件的至少两个第二图像帧进行拼接，得到第一视频；其中，所述识别模型用于识别输入的第二图像帧中的第一对象，输出