一种驾驶员危险动作识别方法、装置以及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113901871A(43)申请公布日2022.01.07(21)申请号202111045770.4(22)申请日2021.09.07(71)申请人武汉未来幻影科技有限公司地址430074湖北省武汉市东湖新技术开发区光谷二路219号鼎杰现代机电信息孵化园“加速器”二期4号楼301室(72)发明人姜英豪朱星(74)专利代理机构北京众达德权知识产权代理有限公司11570代理人张晓冬(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书11页附图3页(54)发明名称一种驾驶员危险动作识别方法、装置以及设备(57)摘要本申请提供了一种驾驶员危险动作识别方法、装置以及设备，用于提高对驾驶员危险动作的识别效率。方法包括：通过部署于车辆上的摄像头，采集车辆内驾驶位置的初始图像；将初始图像导入目标物体识别模型，使得目标物体识别模型进行目标物体识别处理；当目标物体识别模型识别到目标物体时，将初始图像导入人脸识别模型，使得人脸识别模型进行人脸识别处理；计算在图像区域上，初始图像的目标物体识别结果与初始图像的人脸识别结果之间的重叠度；若重叠度达到重叠度阈值，则确定初始图像对应的驾驶员存在危险动作。CN113901871ACN113901871A权利要求书1/2页1.一种驾驶员危险动作识别方法，其特征在于，所述方法包括：通过部署于车辆上的摄像头，采集所述车辆内驾驶位置的初始图像；将所述初始图像导入目标物体识别模型，使得所述目标物体识别模型进行目标物体识别处理，所述目标物体识别模型是初始模型通过标注有对应目标物体识别结果的样本图像训练得到的，所述目标物体识别模型用于识别输入图像中包含的目标物体；当所述目标物体识别模型识别到所述目标物体时，将所述初始图像导入人脸识别模型，使得所述人脸识别模型进行人脸识别处理，所述人脸识别模型是初始模型通过标注有对应人脸识别结果的样本图像训练得到的，所述人脸识别模型用于识别输入图像中包含的人脸；计算在图像区域上，所述初始图像的目标物体识别结果与所述初始图像的人脸识别结果之间的重叠度；若所述重叠度达到重叠度阈值，则确定所述初始图像对应的驾驶员存在危险动作。2.根据权利要求1所述的方法，其特征在于，所述若所述重叠度达到重叠度阈值，则确定所述初始图像对应的驾驶员存在危险动作，包括：若在预设时长范围内，存在连续时间点识别出的多个所述重叠度达到所述重叠度阈值，则确定所述初始图像对应的驾驶员存在危险动作。3.根据权利要求1所述的方法，其特征在于，所述计算在图像区域上，所述初始图像的目标物体识别结果与所述初始图像的人脸识别结果之间的重叠度，包括：根据所述初始图像的目标物体识别结果，确定对应的脸部区域；从所述初始图像的人脸识别结果中提取属于所述脸部区域的目标识别结果；计算在图像区域上，所述初始图像的目标物体识别结果与所述脸部区域的目标识别结果之间的重叠度。4.根据权利要求3所述的方法，其特征在于，所述目标物体包括水杯、手机、香烟、饮料瓶、眼镜以及食物中的至少一种。5.根据权利要求3所述的方法，其特征在于，所述脸部区域包括嘴唇区域、耳朵区域以及眼睛区域中的至少一种。6.根据权利要求1所述的方法，其特征在于，所述目标物体识别模型在模型训练过程中，采用动态的随机调整方式，调整模型中卷积层的个数N以及每个所述卷积层的通道数C，当识别精度与识别效率达到预设的平衡条件时，完成调整。7.根据权利要求1所述的方法，其特征在于，所述确定所述初始图像对应的驾驶员存在危险动作之后，所述方法还包括：向所述驾驶员输出危险动作提示；或者，对车辆的行驶状态执行预设的危险动作响应策略。8.一种驾驶员危险动作识别装置，其特征在于，所述装置包括：采集单元，用于通过部署于车辆上的摄像头，采集所述车辆内驾驶位置的初始图像；目标物体识别单元，用于将所述初始图像导入目标物体识别模型，使得所述目标物体识别模型进行目标物体识别处理，所述目标物体识别模型是初始模型通过标注有对应目标物体识别结果的样本图像训练得到的，所述目标物体识别模型用于识别输入图像中包含的目标物体；2CN113901871A权利要求书2/2页人脸识别单元，用于当所述目标物体识别模型识别到所述目标物体时，将所述初始图像导入人脸识别模型，使得所述人脸识别模型进行人脸识别处理，所述人脸识别模型是初始模型通过标注有对应人脸识别结果的样本图像训练得到的，所述人脸识别模型用于识别输入图像中包含的人脸；计算单元，用于计算在图像区域上，所述初始图像的目标物体识别结果与所述初始图像的人脸识别结果之间的重叠度，若所述重叠度达到重叠度阈值，则触发确定单元；所述确定单元，用于确