基于视频图像的疲劳状态检测方法及装置.pdf

(19)中华人民共和国国家知识产权局*CN103049740A*(12)发明专利申请(10)申请公布号CN103049740A(43)申请公布日2013.04.17(21)申请号201210540173.3(22)申请日2012.12.13(71)申请人杜鹢地址100840北京市海淀区复兴路20号网管中心申请人李秋华(72)发明人杜鹢李秋华(74)专利代理机构北京元本知识产权代理事务所11308代理人秦力军(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书权利要求书2页2页说明书说明书88页页附图附图33页(54)发明名称基于视频图像的疲劳状态检测方法及装置(57)摘要本发明公开了一种基于视频图像的疲劳状态检测方法及装置，方法包括：对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像；通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像；通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态；在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。本发明能够完成用户状态的自动识别，并在检测出用户处于疲劳状态后，进行语音提醒或告警。CN103497ACN103049740A权利要求书1/2页1.基于视频图像的疲劳状态检测方法，其特征在于，包括：对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像；通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像；通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态；在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。2.根据权利要求1所述的方法，其特征在于，所述人脸检测的步骤包括：利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述视频图像中属于人脸部分的待检测图像进行人脸真假判决；若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为用户的脸部图像。3.根据权利要求2所述的方法，其特征在于，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。4.根据权利要求1所述的方法，其特征在于，所述得到眼睛图像的步骤包括：利用角点检测原理，获得左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算眼睛的高度、宽度、眼睛中心位置的垂直坐标；利用所述高度、宽度、眼睛中心位置的垂直坐标，定位眼睛位置，并在所述脸部图像中提取所述眼睛位置的图像，得到眼睛图像。5.根据权利要求4所述的方法，其特征在于，所述确定所述用户的眼睛状态的步骤包括：对所述眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图；将所述眼睛图像归一化直方图分别与睁眼图像集归一化直方图、闭眼图像集归一化直方图进行相似性处理，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。6.根据权利要求5所述的方法，其特征在于，通过对所述睁眼图像集和所述闭眼图像集的灰度分布分别进行统计，得到睁眼图像集归一化直方图、闭眼图像集归一化直方图。7.根据权利要求4所述的方法，其特征在于，所述确定所述用户的眼睛状态的步骤还包括：对所述眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。8.根据权利要求5或7所述的方法，其特征在于，所述确定是否疲劳的步骤包括：在预设眼睛状态统计时间内，对眼睛图像的闭眼状态进行统计；当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定用户处于疲劳状态。9.根据权利要求8所述的方法，其特征在于，还包括：当确定用户处于疲劳状态时，发出用户疲劳提醒及报警信息。2CN103049740A权利要求书2/2页10.基于视频图像的疲劳状态检测装置，其特征在于，包括：人脸检测单元，用于对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像；眼睛状态分析单元，用于通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像，并通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态；疲劳状态分析单元，用于在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。3CN103049740A说明书1/8页基于视频图像