视频数据处理方法、装置以及电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115019390A(43)申请公布日2022.09.06(21)申请号202210583066.2(22)申请日2022.05.26(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人杨咏臻程一晟蒋智文熊子良曹启云(74)专利代理机构北京猷德知识产权代理有限公司16084专利代理师范继晨(51)Int.Cl.G06V40/20(2022.01)G06V20/40(2022.01)G06V10/764(2022.01)权利要求书3页说明书9页附图3页(54)发明名称视频数据处理方法、装置以及电子设备(57)摘要本公开提供了一种视频数据处理方法、装置以及电子设备，涉及人工智能领域，尤其涉及视频分析领域。具体实现方案为：获取视频数据；从视频数据中获取时序帧图，其中，时序帧图包括预定时间段内的多帧图像；依据时序帧图中的多帧图像，检测视频数据中的目标主体是否存在预定行为动作，得到目标检测结果。CN115019390ACN115019390A权利要求书1/3页1.一种视频数据处理方法，包括：获取视频数据；从所述视频数据中获取时序帧图，其中，所述时序帧图包括预定时间段内的多帧图像；依据所述时序帧图中的所述多帧图像，检测所述视频数据中的目标主体是否存在预定行为动作，得到目标检测结果。2.根据权利要求1所述的方法，其中，所述依据所述时序帧图中的所述多帧图像，检测所述视频数据中的目标主体是否存在预定行为动作，得到目标检测结果包括：提取所述多帧图像中的首帧图像；检测所述首帧图像中是否包括所述目标主体；在检测结果为所述首帧图像中包括所述目标主体的情况下，检测所述视频数据中的所述目标主体是否存在所述预定行为动作，得到所述目标检测结果。3.根据权利要求1所述的方法，其中，所述依据所述时序帧图中的所述多帧图像，检测所述视频数据中的目标主体是否存在预定行为动作，得到目标检测结果，包括：对所述时序帧图中的所述多帧图像进行裁减，得到包括所述目标主体的多帧裁减图像，其中，所述目标主体在所述多帧裁减图像中占据的区域大小超过预定阈值；基于所述多帧裁减图像，检测所述视频数据中的目标主体是否存在预定行为动作，得到目标检测结果。4.根据权利要求1所述的方法，其中，所述依据所述时序帧图中的所述多帧图像，检测所述视频数据中的目标主体是否存在预定行为动作，得到目标检测结果包括：基于所述时序帧图中的所述多帧图像，检测所述视频数据中的所述目标主体的动作类型是否属于预定动作类型，其中，所述预定动作类型的动作包括所述预定行为动作；在检测结果为所述视频数据中的所述目标主体的动作类型属于预定动作类型的情况下，检测所述视频数据中的目标主体是否存在预定行为动作，得到目标检测结果。5.根据权利要求1所述的方法，其中，所述依据所述时序帧图中的所述多帧图像，检测所述视频数据中的目标主体是否存在预定行为动作，得到目标检测结果，包括：将所述时序帧图中的所述多帧图像输入动作检测模型，得到所述视频数据中的所述目标主体的动作为所述预定行为动作的置信度，以及所述目标主体的所述动作所属的目标类型，其中，所述动作检测模型采用多组样本数据训练得到，所述多组样本数据包括：多帧样本图像，以及所述多帧样本图像中的样本主体是否存在预定动作的样本检测结果；基于所述置信度和所述目标类型，确定所述目标检测结果。6.根据权利要求1至5中任一项所述的方法，其中，所述方法还包括：在所述目标检测结果为所述视频数据中的所述目标主体存在所述预定行为动作的情况下，获取目标视频片段，其中，所述目标视频片段为从所述视频数据中截取的视频；基于所述目标检测结果和所述目标视频片段，确定最终检测结果，其中，所述最终检测结果用于标识所述视频数据是否包括预定视频类型。7.一种视频数据处理装置，包括：第一获取模块，用于获取视频数据；第二获取模块，用于从所述视频数据中获取时序帧图，其中，所述时序帧图包括预定时间段内的多帧图像；2CN115019390A权利要求书2/3页检测模块，用于依据所述时序帧图中的所述多帧图像，检测所述视频数据中的目标主体是否存在预定行为动作，得到目标检测结果。8.根据权利要求7所述的装置，其中，所述检测模块包括：提取单元，用于提取所述多帧图像中的首帧图像；第一检测单元，用于检测所述首帧图像中是否包括所述目标主体；第二检测单元，用于在检测结果为所述首帧图像中包括所述目标主体的情况下，检测所述视频数据中的所述目标主体是否存在所述预定行为动作，得到所述目标检测结果。9.根据权利要求7所述的装置，其中，所述检测模块，包括：图像处理单元，用于对所述时序帧图中的所述多帧图像进行裁减，得到包括所述目标主体的多帧裁减图像，其中，所述目标主体