一种面向特种车辆的驾驶员疲劳检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937830A(43)申请公布日2023.04.07(21)申请号202211494466.2G06V10/774(2022.01)(22)申请日2022.11.25G06V10/762(2022.01)G06N3/0464(2023.01)(71)申请人北京航空航天大学杭州创新研究院地址310052浙江省杭州市滨江区长河街道创慧街18号(72)发明人胡海苗叶灵枫龚轩李明竹郑彪(74)专利代理机构北京金恒联合知识产权代理事务所11324专利代理师李强(51)Int.Cl.G06V20/59(2022.01)G06V40/16(2022.01)G06V40/18(2022.01)G06V10/82(2022.01)权利要求书4页说明书9页附图4页(54)发明名称一种面向特种车辆的驾驶员疲劳检测方法(57)摘要本发明公开了一种面向特种车辆的驾驶员疲劳检测方法，该方法实现对驾驶员疲劳状态的预警和识别，包括：利用异常事件的响应周期构建行为响应时间预测模型，预估下一异常事件的响应周期，实现对疲劳状态的预警；利用人脸属性识别模型识别驾驶员面部脸部和嘴部区域的遮挡情况，根据识别结果执行相应的识别方法，实现对疲劳状态的识别。本发明能够提前疲劳事件的检测时间窗口，在早期实现对驾驶员的疲劳状态做出预警，同时能够针对穿戴特殊装备的驾驶员进行疲劳检测，从而降低事故发生率。CN115937830ACN115937830A权利要求书1/4页1.一种面向特种车辆的驾驶员疲劳检测方法，其特征在于包括：A)进行驾驶员疲劳预警；B)进行驾驶员疲劳识别，其中：所述的步骤A包括：A1)获取前方道路图像和车身周围环境图像，包括利用安装在驾驶室挡风玻璃上侧中部位置处的摄像头采集前方道路图像，利用安装在车身左侧、右侧和尾部的摄像头采集周围环境图像；A2)根据基于深度学习预先训练好的异常事件检测模型进行异常事件的检测，包括：构建异常事件检测模型，完成对障碍物、车道偏移等异常事件的检测；记录异常事件检测模型工作时长；A3)循环记录异常事件处理响应时间周期，包括：从检测到异常事件至异常事件结束记为一个异常事件处理响应时间周期TAEC；循环记录异常事件处理响应时间周期满足其数量达到预设值NAEC或异常事件检测模型持续工作达到阈值TAEW。；A4)生成驾驶员响应周期表并构建行为响应时间预测模型和得到疲劳预警阈值，包括：生成驾驶员响应周期表SAE；根据所述驾驶员响应周期表，利用BP反向传播神经网络构建行为响应时间预测模型，表示为：其中，BP神经网络采用三层模型，xi为网络输入，Ok为网络输出，g(x)为激励函数，wij为输入层到隐含层权重，wjk为隐含层到输出层权重，aj为输入层到隐含层偏置，bk为隐含层到输出层偏置，l为隐含层节点数，n为输入层节点数，i为输入层节点标号，j为隐含层节点标号；利用密度聚类算法DBSCAN对该表进行聚类，以数量最多簇的最大边界作为疲劳预警阈值Th：A5)预测下一异常事件响应周期，并进行疲劳预警，包括：根据行为响应时间预测模型估计下一异常事件响应周期TAEP；与疲劳预警阈值Th进行比较来进行疲劳预警，表示为：|TAEP‑Th|＞ξ其中，ξ为一个临界波动值，超过该值时认为驾驶员即将疲劳，进行语音提醒；A6)更新行为响应时间预测模型，包括：检测得到下一异常事件处理响应时间周期TAER；判断与预测得到的异常事件响应周期TAEP的差值与预设差异阈值Td的关系，表示为：|TAER‑TAEP|＜Td其中，若TAER与TAEP的差值大于Td，则认为行为响应时间预测模型预测有误，将TAER加入到驾驶员响应周期表SAE，更新行为响应时间预测模型，所述步骤B包括：2CN115937830A权利要求书2/4页B1)获取驾驶员的面部图像、姿态图像和语音信息，包括：利用安装在驾驶室内正前方摄像头实时采集驾驶员面部图像；利用安装在驾驶室内侧方摄像头获取驾驶员时序姿态图像；利用安装在驾驶员正上方的语音采集器获取驾驶员的语音信息，B2)根据预先训练的基于深度学习的人脸属性识别模型进行人脸属性的识别，包括：基于深度学习构建人脸属性识别模型，评价指标表示为：其中，L为属性的数量，N为样本数量，i为属性标号，TPi和TNi分别为正确分类的正样本和负样本数量，Pi和Ni分别为正负样本的总数量；完成对驾驶员是否遮挡嘴部和眼部的属性识别，B3)根据所述人脸属性识别结果，执行相应识别方法，包括：B31)在驾驶员眼部未遮挡且嘴部未遮挡的情况下，利用人脸关键点检测模型检测眼部嘴部关键点，再利用分类模型对关键点区域进行睁闭眼和睁闭嘴的识别，通过统计预设时间段内的闭眼次数和张嘴次数判定驾驶员是否疲劳；B32)在驾驶员眼部遮挡且嘴部未遮挡的