一种基于人眼状态的驾驶员疲劳检测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107292251A(43)申请公布日2017.10.24(21)申请号201710430629.3(22)申请日2017.06.09(71)申请人湖北天业云商网络科技有限公司地址435102湖北省黄石市大冶市金湖街办矿冶大道139号（新冶特钢院内）(72)发明人徐文平韩守东李倩倩(74)专利代理机构武汉智嘉联合知识产权代理事务所(普通合伙)42231代理人黄君军(51)Int.Cl.G06K9/00(2006.01)权利要求书2页说明书7页附图4页(54)发明名称一种基于人眼状态的驾驶员疲劳检测方法及系统(57)摘要本发明公开了一种基于人眼状态的驾驶员疲劳检测方法及系统，结合人脸检测、人脸跟踪，确定驾驶员图像的眼部初步矩形范围，对于眼部初步矩形范围做预处理，利用轮廓查找和矩形拟合定位眼睛精确矩形范围图像，根据垂直投影判断一帧驾驶员图像中驾驶员是睁眼还是闭眼，根据连续的驾驶员图像中驾驶员均处于闭眼状态的连续帧数判断驾驶员眨眼还是眼睛持续闭合，并计算眨眼频率，从而判断驾驶员是否处于疲劳状态。有益效果：本发明对于驾驶员是否戴了眼镜以及光照强度的不同选择对眼睛初步矩形范围图像进行不同预处理，使得本发明的疲劳检测方法更加准确，鲁棒性更高；对于不同光照条件下都适用，实时性更高，检测速度更快。CN107292251ACN107292251A权利要求书1/2页1.一种基于人眼状态的驾驶员疲劳检测方法，其特征在于，包括：S1、实时获取驾驶员图像，并对驾驶员图像进行人脸检测，获取包含人脸的人脸矩形框，获取人脸矩形框中的眼睛初步矩形范围图像以及所述眼睛初步矩形范围图像在人脸矩形框中的坐标；S2、获取一帧驾驶员图像的人脸矩形框后，对于后续驾驶员图像进行人脸跟踪，获取后续驾驶员图像的人脸矩形框；S3、对于后续驾驶员图像的人脸矩形框，根据所述眼睛初步矩形范围图像在人脸矩形框中的坐标，获取后续驾驶员图像的所述眼睛初步矩形范围图像；S4、对于S3获取的眼睛初步矩形范围图像先后进行裁剪和二值化的预处理；S5、对S4中二值化后的所述眼睛初步矩形范围图像进行轮廓查找，并利用矩形拟合精确定位眼睛精确矩形范围图像，获取所述眼睛精确矩形范围图像在人脸矩形框中的坐标；S6、根据所述眼睛精确矩形范围图像在人脸矩形框中的坐标从人脸矩形框中提取非二值化的眼睛精确矩形范围图像，并将提取的眼睛精确矩形范围图像进行二值化后形成睁闭眼判断图像，将睁闭眼判断图像向X轴进行垂直投影，通过垂直投影中黑色与白色像素的比例判断一帧驾驶员图像中驾驶员是睁眼还是闭眼；S7、统计连续的驾驶员图像中驾驶员均处于闭眼状态的连续帧数，根据连续处于闭眼状态的帧数所处范围判断驾驶员是眨眼还是眼睛持续闭合，并计算眨眼频率；S8、如果眨眼频率处于设定的正常范围之外，则判断驾驶员处于疲劳状态，如果驾驶员眼睛持续闭合，则判断驾驶员处于疲劳状态。2.如权利要求1所述的基于人眼状态的驾驶员疲劳检测方法，其特征在于，步骤S1中：利用带有红外补光功能的红外摄像头获取驾驶员图像，驾驶室内光照强度高于设定光强阈值时，获取驾驶员的彩色图像，驾驶室内光照强度低于设定光强阈值时，开启红外补光，并获取驾驶员的红外黑白图像。3.如权利要求1所述的基于人眼状态的驾驶员疲劳检测方法，其特征在于，步骤S1中：利用Adaboost算法训练分类器对驾驶员图像进行人脸检测，获取到包含人脸的人脸矩形框，对获取到的人脸矩形框内部图像进行stasm特征点定位，从而识别眼睛特征点，获取大于眼睛特征点范围的预设大小矩形范围的图像为所述眼睛初步矩形范围图像。4.如权利要求1所述的基于人眼状态的驾驶员疲劳检测方法，其特征在于，步骤S2中：利用KCF算法对于后续驾驶员图像进行人脸跟踪，对每一帧驾驶员图像人脸跟踪后均产生评价指标数据用以评估跟踪效果，当评价指标数据低于设定阈值时，调整跟踪策略。5.如权利要求1所述的基于人眼状态的驾驶员疲劳检测方法，其特征在于，步骤S4中：判断驾驶员图像中驾驶员是否戴有眼镜，根据判断结果选择裁剪区域的大小对所述眼睛初步矩形范围图像进行裁剪，再根据获取驾驶员图像时光照强度的不同选择不同平均灰度阈值对裁剪后的所述眼睛初步矩形范围图像进行二值化。6.一种基于人眼状态的驾驶员疲劳检测系统，其特征在于，包括：人脸检测模块：实时获取驾驶员图像，并对驾驶员图像进行人脸检测，获取包含人脸的人脸矩形框，获取人脸矩形框中的所述眼睛初步矩形范围图像以及所述眼睛初步矩形范围图像在人脸矩形框中的坐标；人脸跟踪模块：获取一帧驾驶员图像的人脸矩形框后，对于后续驾驶员图像进行人脸2CN107292251A权利要求书2/2页跟踪，获取后续驾驶员图像的人脸矩形框；眼睛初步范围图像获取模块：对于后