一种驾驶行为监测方法、装置及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114120395A(43)申请公布日2022.03.01(21)申请号202111289201.4(22)申请日2021.11.02(71)申请人深圳技术大学地址518000广东省深圳市坪山区石井街道兰田路3002号(72)发明人卢淦标高智洪邓祖奕杨帆黄鹏鹏李佳(74)专利代理机构深圳市恒申知识产权事务所(普通合伙)44312代理人郑姣(51)Int.Cl.G06V40/16(2022.01)G06V10/46(2022.01)G06V10/80(2022.01)G06K9/62(2022.01)权利要求书2页说明书8页附图3页(54)发明名称一种驾驶行为监测方法、装置及计算机可读存储介质(57)摘要本申请提供了一种驾驶行为监测方法、装置及计算机可读存储介质，该方法包括：将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像；对融合图像进行人脸特征提取，并在所提取的人脸位置检测人脸关键点位置；基于人脸关键点位置计算相应人脸标志性部位的部位横纵比，并将部位横纵比与标准取值范围进行比较；若监测周期内的所有比较结果中，部位横纵比超出标准取值范围的次数大于预设次数阈值，则判定驾驶员处于疲劳驾驶状态。通过本申请方案的实施，基于红外可见光辅助图像融合的应用决策，增加了输入图像的抗干扰能力，利用人脸关键点坐标进行运算判断司机的精神状态，可实现精准可靠的疲劳驾驶监测。CN114120395ACN114120395A权利要求书1/2页1.一种驾驶行为监测方法，其特征在于，所述驾驶行为监测方法包括：将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像；其中，所述多目摄像头包括红外摄像头以及可见光摄像头；对所述融合图像进行人脸特征提取，并在所提取的人脸位置检测人脸关键点位置；基于所述人脸关键点位置计算相应人脸标志性部位的部位横纵比，并将所述部位横纵比与标准取值范围进行比较；若预设监测周期内的所有比较结果中，所述部位横纵比超出所述标准取值范围的异常次数大于预设次数阈值，则判定所述驾驶员处于疲劳驾驶状态。2.根据权利要求1所述的驾驶行为监测方法，其特征在于，所述将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像的步骤，包括：针对正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像分别赋予相应的计算权重；基于所述红外图像、所述可见光图像的像素值以及所述计算权重，进行加权平均计算，得到融合图像。3.根据权利要求1所述的驾驶行为监测方法，其特征在于，所述将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像的步骤之前，还包括：将所述红外图像以及所述可见光图像中其中一幅图像作为待配准图像，并将另一幅图像作为参考图像；对所述待配准图像以及所述参考图像分别进行特征提取得到特征点，并通过相似性度量匹配特征点对；通过所述特征点对之间的相对关系确定图像空间坐标变换参数；基于所述图像空间坐标变换参数对所述待配准图像进行图像配准。4.根据权利要求1所述的驾驶行为监测方法，其特征在于，所述对所述融合图像进行人脸特征提取的步骤之前，还包括：对预设训练图像进行特征提取，得到人脸特征集以及非人脸特征集；对所述人脸特征集以及所述非人脸特征集进行训练，建立分类器；所述对所述融合图像进行人脸特征提取的步骤，包括：将所述融合图像输入至所述分类器，提取所述融合图像中的人脸特征。5.根据权利要求1所述的驾驶行为监测方法，其特征在于，所述在所提取的人脸位置检测人脸关键点位置的步骤，包括：构建一个级联的残差回归树；其中，所述残差回归树的每一叶子节点均存储一个残差回归量；通过所述残差回归树的叶子节点的残差回归量，将人脸的初始形状回归至真实形状；输出所述人脸位置相应的人脸关键点位置。6.根据权利要求1所述的驾驶行为监测方法，其特征在于，所述人脸关键点位置包括以下至少之一：眼部关键点位置、嘴部关键点位置。7.根据权利要求1至6中任意一项所述的驾驶行为监测方法，其特征在于，所述将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理的步骤之前，2CN114120395A权利要求书2/2页还包括：调用所述多目摄像头中的所述可见光摄像头感应当前环境的可见光强度；在所述可见光强度低于预设强度阈值时，执行所述将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理的步骤。8.一种驾驶行为监测装置，其特征在于，所述驾驶行为监测装置包括：融合模块，用于将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像；其中，所述多目摄像头包括红外摄像