一种多特征融合驾驶员异常表情识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110334600A(43)申请公布日2019.10.15(21)申请号201910478366.2(22)申请日2019.06.03(71)申请人武汉工程大学地址430074湖北省武汉市洪山区雄楚大街693号(72)发明人徐国庆(74)专利代理机构湖北武汉永嘉专利代理有限公司42102代理人许美红(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书7页附图1页(54)发明名称一种多特征融合驾驶员异常表情识别方法(57)摘要本发明公开了一种多特征融合驾驶员异常表情识别方法，该方法包括：S1、通过安装在驾驶员侧的摄像头对驾驶员的表情动作进行实时跟踪监测；S2、对实时驾驶员视频中的表情细节进行精确识别；S3、检测眼睛位置，判断其是否疲劳；S4、定位嘴部边缘轮廓，判断其是否出现哈欠动作；S5、检测头部动作，判断是否出现疲劳；S6、对眼睛状态、嘴部状态、头部运动状态的检测结果进行加权，最终判断其是否出现疲劳，并进行输出；S7、结合当前帧的识别结果作为后续帧的识别的预估位置，分别检测后续帧中的动作，实现对驾驶员异常行为的连续检测识别。本发明可以实时监测并进行报警触发，对对驾驶员进行警示提醒，防止出现交通事故，保证行车过程中的安全。CN110334600ACN110334600A权利要求书1/2页1.一种多特征融合驾驶员异常表情识别方法，其特征在于，实现在复杂的交通场景下，使用车载摄像头对驾驶员进行实时跟踪识别，对其异常动作进行检测，并触发报警信号，该方法包括以下步骤：S1、通过车载摄像头，对驾驶员进行实时检测，在视频中检测是否存在驾驶员人脸；如果存在，则对驾驶员人脸位置进行标识，作为进一步分析其表情细节的输入图像；S2、在检测到的驾驶员人脸区域中，定位关键表情单元的位置，分别在驾驶员人脸框内定位其眼睛、嘴巴、头部、颈部位置，并分别进行表情区域截取，作为后续精确分析表情的基础；S3、检测眼睛位置，使用眼睛状态分类器，识别眼睛的眨眼、睁眼动作，出现眨眼时，判断其眨眼的时长，作为判断其是否疲劳的依据；S4、在嘴部区域，定位嘴部边缘轮廓，并识别嘴部的张合动作，将该动作与哈欠状态分类器进行匹配，判断其是否出现哈欠动作；S5、对头部姿态进行定位，检测头部是否出现偏转、俯仰、摇摆的动作，并检测该动作出现的时长，作为其是否出现疲劳的依据；S6、对眼睛状态、嘴部状态、头部运动状态的检测结果进行加权，分别计算其疲劳状态参数，最终判断其是否出现疲劳，并进行输出；S7、将当前帧的疲劳状态输出，并将当前帧的识别结果作为后续帧的识别的预估位置，分别检测后续帧中的动作，实现对驾驶员异常行为的连续检测识别；若出现驾驶员异常行为，则触发报警信号。2.根据权利要求1所述的多特征融合驾驶员异常表情识别方法，其特征在于，步骤S1的具体方法为：S11、通过车载摄像头拍摄驾驶员，对获取的实时视频进行人脸检测，采用快速人脸匹配算法，对驾驶员人脸位置进行定位；如果当前视频图像为第一帧或前帧跟踪丢失，则对全幅图像进行金字塔图像分解，在分解的图像中进行人脸检测；S12、将检测到的人脸区域分别在横向纵向进行20％像素扩展，以应对脸部的运动。3.根据权利要求1所述的多特征融合驾驶员异常表情识别方法，其特征在于，步骤S2的具体方法为：S21、在检测到的人脸区域，使用表观匹配算法，对脸部的关键表情位置进行定位，分别定位各子部位，包括：眼睛位置、嘴部位置、头部轮廓位置、颈部位置；截取各子部位的图像，分别输出其子部位的矩形框；在检测的人脸区域的矩形框上，分别向上下左右区域扩展设定比例的像素，并将扩展的矩形区域作为人脸表情特征点的检测图像；S22、将子部位图像进行亮度均衡处理，消除噪声点，并分别获取其灰度图。4.根据权利要求1所述的多特征融合驾驶员异常表情识别方法，其特征在于，步骤S3的具体方法为：S31、获取眼睛局部图像，对图像做归一化处理；S32、对眼睛图像计算其LBP特征，并分别作为左右眼睛的状态特征；S33、使用SVM算法分别对眼睛的睁闭状态进行识别；S34、对闭眼状态，计算其持续的时长；S35、将闭眼时长与疲劳检测的异常时长进行比较，输出比较结果。2CN110334600A权利要求书2/2页5.根据权利要求1所述的多特征融合驾驶员异常表情识别方法，其特征在于，步骤S4的具体方法为：S41、提取嘴部局部图像，对局部图像进行灰度均衡和归一化处理；S42、使用嘴部匹配模板，定位嘴部的边缘及嘴角特征点；S43、根据匹配的边缘特征，计算嘴巴的张合度；S44、将张合度与哈欠特征参数进行匹配，判断其是否出现哈欠动作；S45、输出检测识别的结果。6.根据权利要求1所述的多特