基于语音分析的多特征融合疲劳驾驶检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110859609A(43)申请公布日2020.03.06(21)申请号201911173353.0(22)申请日2019.11.26(71)申请人郑州迈拓信息技术有限公司地址450000河南省郑州市中原区高新技术产业开发区长椿路11号大学科技园孵化1号楼3A16、3A17号(72)发明人刘咏晨毕成(74)专利代理机构郑州芝麻知识产权代理事务所(普通合伙)41173代理人张海青(51)Int.Cl.A61B5/024(2006.01)A61B5/11(2006.01)A61B5/00(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于语音分析的多特征融合疲劳驾驶检测方法(57)摘要本发明公开了一种基于语音分析的多特征融合疲劳驾驶检测方法。包括：采集驾驶员心率数据、背部压力数据、头部压力数据、眨眼频次数据、鼻部尺寸数据、嘴部开合尺寸数据；车载语音识别系统每检测到一个语音结束点，获取数据组成相应的样本序列；基于上下四分位数，对传感器样本序列进行修正，与眨眼频次、鼻部尺寸以及嘴部开合尺寸样本序列组成驾驶状态特征向量组，并进行标注；利用标注后的驾驶状态特征向量组训练神经网络；使用训练好的神经网络对驾驶员进行疲劳检测，根据检测结果发出预警信息。利用本发明，可以在驾驶交通工具场景中，对驾驶员进行疲劳检测，检测结果更准确，适用性更强。CN110859609ACN110859609A权利要求书1/2页1.一种基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，该方法包括：步骤一，使用心率传感器持续采集驾驶员心率数据；使用座椅背部压力传感器持续采集驾驶员背部压力数据；使用座椅头部压力传感器持续采集驾驶员头部压力数据；使用面部分析模块持续采集驾驶员面部图像，分析驾驶员眨眼频次、鼻部尺寸、嘴部开合尺寸；步骤二，车载语音识别系统通过端点检测模块持续检测语音端点，每检测到一个语音结束点，从心率传感器、压力传感器、面部分析模块获取数据，得到心率样本序列、背部压力样本序列、头部压力样本序列、眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列；步骤三，基于上下四分位数，对心率样本序列、背部压力样本序列、头部压力样本序列进行修正，与眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列组成驾驶状态特征向量组，并对驾驶状态特征向量组进行标注；步骤四，将标注后的驾驶状态特征向量组作为样本数据集，输入神经网络，基于均方差损失函数进行训练，保存训练好的神经网络；步骤五，检测到驾驶员进入驾驶位，使用训练好的神经网络对驾驶员进行疲劳驾驶检测，根据检测结果发出预警信息。2.如权利要求1所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述步骤一中的面部分析模块采用深度神经网络检测驾驶员面部68个关键点，并根据关键点分析驾驶员眨眼频次、鼻部尺寸、嘴部开合尺寸。3.如权利要求2所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述步骤一中眨眼频次的分析方法为：设置阈值，比较眼睛开合尺寸与阈值的大小关系，判断驾驶员眼睛的睁、闭状态；设置滑动时间窗口，以当前时刻为滑动时间窗口的结束临界点，根据时间窗口内驾驶员眼睛睁、闭状态的变化，统计时间窗口内驾驶员的眨眼频次。4.如权利要求3所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述滑动时间窗口设置为15秒。5.如权利要求3所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述眼睛开合尺寸的计算方法为：将眼睛关键点纵坐标数值进行排序，取最大的两个纵坐标值的平均值作为上眼皮的纵坐标信息，取最小纵坐标值以及次小纵坐标值的平均值作为下眼皮的纵坐标信息，计算上眼皮的纵坐标信息与下眼皮的纵坐标信息的差值，得到眼睛开合尺寸。6.如权利要求1所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述的步骤三中的基于上下四分位数，对心率样本序列、背部压力样本序列、头部压力样本序列进行修正包括：设心率样本序列为A，计算A的上下四分位数，记上四分位数为H，下四分位数为L，计算上、下四分位数的差Q＝H-L；遍历心率样本序列A中的所有数据，记A中第i个数据为Ai，若Ai大于H时，计算Ai与H之间的差值绝对值，记为d；若Ai小于L时，计算L与Ai之间的差值绝对值，记为d；根据Q设置阈值，若d大于或等于阈值，则认为Ai为异常值，采用邻域平均值方法对异常值进行修正：Ai＝(Ai+1+Ai+2+Ai-1+Ai-2)/4；2CN110859609A权利要求书2/2页采用同样的方法对背部压力样本序列、头部压力样本序列进行修正。3CN110859609A说明书1/6页基于语音分析的多特征融合疲劳驾驶检测方法技术领域[000