基于音视频的疲劳状态检测方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113642522A(43)申请公布日2021.11.12(21)申请号202111021587.0(22)申请日2021.09.01(71)申请人中国科学院自动化研究所地址100190北京市海淀区中关村东路95号(72)发明人陶建华肖明远刘斌连政(74)专利代理机构北京华夏泰和知识产权代理有限公司11662代理人孙剑锋李永叶(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书17页附图7页(54)发明名称基于音视频的疲劳状态检测方法和装置(57)摘要本发明提供基于音视频的疲劳状态检测方法和装置，包括：通过人脸识别技术在本地驾驶员档案数据库中确认目标驾驶员身份，如果没有对应人员信息，则新建驾驶员档案；在车辆驾驶过程中，采集目标驾驶员在驾驶过程中的音视频信息和生理信息，并提取出所述音视频信息和生理信息中与疲劳检测相关的数据，得到疲劳检测数据；面部视频信息、整体躯干部位视频信息和音频信息；根据疲劳检测数据和历史的疲劳检测数据对目标驾驶员当前状态进行分析，得出局部疲劳状态；根据局部疲劳状态，以及目标驾驶员当前持续驾驶时间，计算目标驾驶员综合疲劳状态并根据映射关系进行安全评价，根据安全评价的等级对所述目标驾驶员进行防疲劳驾驶示警操作。CN113642522ACN113642522A权利要求书1/4页1.基于音视频的疲劳状态检测方法，其特征在于，所述方法包括：S101：驾驶员身份识别：通过人脸识别技术在本地驾驶员档案数据库中确认目标驾驶员身份，如果没有对应人员信息，则新建驾驶员档案；S102：目标驾驶员数据采集：在车辆驾驶过程中，采集目标驾驶员在驾驶过程中的音视频信息和生理信息，并提取出所述音视频信息和生理信息中与疲劳检测相关的数据，得到疲劳检测数据；所述音视频信息包括：面部视频信息、整体躯干部位视频信息和音频信息；S103：目标驾驶员疲劳状态检测：根据所述疲劳检测数据和历史的疲劳检测数据对目标驾驶员当前状态进行分析，得出局部疲劳状态；S104：疲劳状态示警：根据所述局部疲劳状态，以及目标驾驶员当前持续驾驶时间，计算目标驾驶员综合疲劳状态。2.根据权利要求1所述的基于音视频的疲劳状态检测方法，其特征在于，从所述生理信息中提取与疲劳检测相关的数据包括：心率、肌电频率和皮肤电传导；从所述面部视频信息提取与疲劳检测相关的数据包括：眼部和嘴部部位的视频信息；从整体躯干部位视频信息中提取姿态信息。3.根据权利要求2所述的基于音视频的疲劳状态检测方法，其特征在于，应用所述眼部和唇部部位的视频信息得到所述局部疲劳状态的第一部分，第一局部疲劳状态La，具体方法为：将眼部和唇部部位的视频信息按指定帧率转化为视频帧序列，得到面部视频帧序列；然后剔除非人脸的区域，对所述面部视频帧序列进行人脸检测和定位，得到人脸关键点眼部和嘴部的视频帧序列数据；将所述眼部和嘴部的视频帧序列数据输入第一卷积神经网络，得到眼嘴状态检测数据，应用所述眼嘴状态检测数据计算第一局部疲劳状态La。4.根据权利要求3所述的基于音视频的疲劳状态检测方法，其特征在于，所述应用所述眼嘴状态检测数据计算第一局部疲劳状态La的具体方法包括：应用眼状态检测数据计算眨眼频率BF；应用嘴状态检测数据计算打哈欠频率YF；将所述眨眼频率BF和打哈欠频率YF融合，得到融合后的特征向量f；将所述融合后的特征向量f输入第一局部疲劳状态分类预测模型，得到第一局部疲劳状态La的判定结果；第一局部疲劳状态La的判定结果为：(1)正常状态；(2)轻微疲劳状态；(3)中度疲劳状态；(4)重度疲劳状态。5.根据权利要求4所述的基于音视频的疲劳状态检测方法，其特征在于，应用所述整体躯干部位视频信息得到所述局部疲劳状态的第二部分，第二局部疲劳状态Lb，具体方法为：捕捉上半身影像，对目标驾驶员上半身12个关节点进行姿态估计，得到姿态估计特征，将所述姿态估计特征输入第二卷积神经网络，得到第二局部疲劳状态Lb的判定结果；第二局部疲劳状态Lb的判定结果为：(1)正常状态；(2)轻微疲劳状态；2CN113642522A权利要求书2/4页(3)中度疲劳状态；(4)重度疲劳状态。6.根据权利要求5所述的基于音视频的疲劳状态检测方法，其特征在于，所述得到姿态估计特征的具体方法为：根据目标驾驶员上半身12个关节点，构建目标驾驶员骨架模型时空图；具体方法如下：对目标驾驶员上半身骨架模型构建时空图G=(V,E)，其中驾驶员关节点矩阵集合；其中，Vti表示某一帧的某个关节点，t表示帧数，T表示某段数据总帧数，i表示某一帧的节点索引，N表示某一帧节点的总数，V表示驾驶员关节点矩阵集合，E表