一种端到端的车辆行为检测方法、系统、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114241373A(43)申请公布日2022.03.25(21)申请号202111526066.0G06V10/764(2022.01)(22)申请日2021.12.14G06V10/774(2022.01)G06V10/82(2022.01)(71)申请人北京理工大学重庆创新中心地址401135重庆市渝北区龙兴镇曙光路9号9幢(72)发明人陈伟查俊林李马天行(74)专利代理机构重庆智慧之源知识产权代理事务所(普通合伙)50234代理人余洪(51)Int.Cl.G06V20/40(2022.01)G06V20/58(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06K9/62(2022.01)权利要求书3页说明书9页附图4页(54)发明名称一种端到端的车辆行为检测方法、系统、设备及存储介质(57)摘要本发明提供一种端到端的车辆行为检测方法、系统、设备及存储介质，其中，方法包括：获取采集到的实时视频数据和单帧图像；通过卷积神经网络对单帧图像中的目标对象进行识别并分类；根据目标对象对单帧图像进行感兴趣区域裁剪，获取至少一个目标图像；采用多目标跟踪方法，提取特征数据，根据特征数据对目标图像进行跟踪ID分类，获取ID信息；筛选出目标对象为车辆的目标图像，获取对应连续视频片段，并进行交互聚合操作，获取目标对象的交互关系；结合ID信息、连续视频片段和交互关系对目标对象进行行为检测，输出目标对象的行为信息，并对车辆进行定位。本发明能够提高车辆行为检测的准确性、实时性和泛化能力，且适用范围广。CN114241373ACN114241373A权利要求书1/3页1.一种端到端的车辆行为检测方法，其特征在于，包括以下步骤：获取采集到的实时视频数据，根据所述实时视频数据获取单帧图像；通过卷积神经网络对所述单帧图像中的目标对象进行识别并分类；根据所述目标对象对所述单帧图像进行感兴趣区域裁剪，获取至少一个目标图像；采用多目标跟踪方法，提取所述目标图像中目标对象的特征数据，根据所述特征数据对所述目标图像进行跟踪ID分类，获取ID信息；筛选出目标对象为车辆的目标图像，根据所述目标图像对应的单帧图像，获取连续视频片段，根据所述单帧图像和连续视频片段进行交互聚合，获取目标对象与单帧图像中其余目标对象之间的交互关系；结合所述ID信息、连续视频片段和交互关系对所述目标对象进行行为检测，根据检测结果输出目标对象的行为信息，并对车辆进行定位。2.根据权利要求1所述的一种端到端的车辆行为检测方法，其特征在于，所述获取采集到的实时视频数据，根据所述实时视频数据获取单帧图像，具体包括：将所述实时视频数据根据秒数进行拆分，获取多个一秒钟的单帧图像；根据所述单帧图像筛选出单帧图像对应的连续视频片段，将所述连续视频片段保存至内存池。3.根据权利要求1所述的一种端到端的车辆行为检测方法，其特征在于，所述通过卷积神经网络对所述单帧图像中的目标对象进行识别并分类，具体包括：获取若干历史视频数据，并拆分为对应的历史单帧图像，将所述历史单帧图像作为训练集，所述历史单帧图像对应的目标对象作为测试集；基于YOLOV5卷积神经网络构建初始目标检测模型，根据所述训练集和测试集对所述初始目标检测模型进行训练，训练完成后，获取目标检测模型；将所述单帧图像输入所述目标检测模型，输出对应的目标对象；通过分类器对所有单帧图像中的目标对象进行分类，并将单帧图像分类存储。4.根据权利要求1所述的一种端到端的车辆行为检测方法，其特征在于，所述采用多目标跟踪方法，提取所述目标图像中目标对象的特征数据，根据所述特征数据对所述目标图像进行跟踪ID分类，获取ID信息，具体包括：根据所述特征数据对所有目标图像进行分类，筛选出存在相同目标对象的目标图像，对目标图像存储相同的ID标记，获取对应的ID信息；根据所述ID标记对所有目标图像进行分类，分类后的目标图像具有目标对象的行为特征。5.根据权利要求4所述的一种端到端的车辆行为检测方法，其特征在于，所述筛选出目标对象为车辆的目标图像，根据所述目标图像对应的单帧图像，获取连续视频片段，根据所述单帧图像和连续视频片段获取目标对象与单帧图像中其余目标对象之间的交互关系，具体包括：在单帧图像中选定一个车辆作为目标车辆对象，根据目标车辆对象筛选出对应的目标图像和单帧图像，根据目标车辆对象对应的单帧图像，获取单帧图像对应的连续视频片段；通过两个通道路径对所述连续视频片段进行采样，分析所述连续视频片段中的静态内容和动态内容；2CN114241373A权利要求书2/3页根据所述静态内容和动态内容，确定单帧图像中是否只存在一个目标车辆对象；若是，则根据单帧图像对应的连续视频片段和