一种基于动作行为特征的危险驾驶行为识别方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113971797A(43)申请公布日2022.01.25(21)申请号202111473235.9G06V10/82(2022.01)(22)申请日2021.12.02G06K9/62(2022.01)G06N3/04(2006.01)(71)申请人山东海量信息技术研究院G06N3/08(2006.01)地址250098山东省济南市高新技术开发区国家信息通信国际创新园申请人济南大学(72)发明人杨晓晖张樱己冯志全曲守宁赵新勇陈达(74)专利代理机构济南圣达知识产权代理有限公司37221代理人张勇(51)Int.Cl.G06V20/59(2022.01)G06V10/44(2022.01)G06V10/764(2022.01)权利要求书2页说明书7页附图8页(54)发明名称一种基于动作行为特征的危险驾驶行为识别方法及系统(57)摘要本发明属于计算机视觉技术领域，提供了一种基于动作行为特征的危险驾驶行为识别方法及系统，该网络以CenterNet为目标检测主体，将ResNet‑50和Hourglass网络各自做了改进并结合，用作CenterNet的主干。为了提升精度和速度，在其他多个模块也都做了改进，并采集自然条件下的驾驶员危险驾驶行为数据集用于评估网络，实验部分分别做了消融实验和对比实验，证明每一个模块的改进都可以对模型性能产生积极影响。CN113971797ACN113971797A权利要求书1/2页1.一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，包括如下步骤：获取驾驶员驾驶过程中的待识别的自然危险驾驶行为视频；将待识别的自然危险驾驶行为视频进行预处理得到待识别的自然危险驾驶行为图像；将预处理后的待识别的自然危险驾驶行为图像输入至训练好的危险驾驶行为检测模型中，获取驾驶员危险驾驶行为识别结果；其中，所述危险驾驶行为检测模型以CenterNet为主干网络，所述CenterNet的主干网络包括Hourglass网络和ResNet‑50网络，每个网络通道输出对应的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。2.如权利要求1所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，所述Hourglass网络中采用扩张卷积网络，所述ResNet‑50网络的下采样层的卷积核大小和步长进行了修改，同时增加平均池化层。3.如权利要求2所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，所述扩张卷积网络包括两个普通卷积层和一个扩张卷积层，在所述扩张卷积层前后两个普通卷积层设置跳跃连接，所述跳跃连接用于将从第一个普通卷积层提取的特征信息传输至扩张卷积层得到特征映射，所述特征映射输入到第二个普通卷积层。4.如权利要求1所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，所述Hourglass网络和ResNet‑50网络中分别添加注意力机制，所述注意力机制根据损失值去每个网络通道的特征权重。5.如权利要求1所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，对原始特征重标定后融合的方式采用Loss值融合法；或，对原始特征重标定后融合的方式采用特征图融合法。6.如权利要求1所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，所述将待识别的自然危险驾驶行为视频进行预处理包括：对采集后的视频进一步筛选，然后将每一帧视频转化成图片保存，将保存好的图片分类，相同的驾驶行为划为一组，使用LabelImg标注工具对数据进行标注，得到文本格式的文件作为该数据集的真实值使用。7.如权利要求1所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，所述待识别的自然危险驾驶行为图像包括手部、手里拿的东西以及动作。8.一种基于动作行为特征的危险驾驶行为识别系统，其特征在于，包括：数据获取模块，被配置为：获取驾驶员驾驶过程中的待识别的自然危险驾驶行为视频；数据预处理模块，被配置为：将待识别的自然危险驾驶行为视频进行预处理得到待识别的自然危险驾驶行为图像；危险驾驶行为识别模块，被配置为：将预处理后的待识别的自然危险驾驶行为图像输入至训练好的危险驾驶行为检测模型中，获取驾驶员危险驾驶行为识别结果；其中，所述危险驾驶行为检测模型以CenterNet为主干网络，所述CenterNet的主干网络包括Hourglass网络和ResNet‑50网络，每个网络通道输出对应的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。2CN113971797A权利要求书2