一种基于红外热图像人脸轮廓识别的增强显示系统及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114973381A(43)申请公布日2022.08.30(21)申请号202210676240.8(22)申请日2022.06.15(71)申请人武汉理工大学地址430070湖北省武汉市洪山区珞狮路122号(72)发明人郭巍孙佳琪吴容川袁欢孟正华(74)专利代理机构湖北武汉永嘉专利代理有限公司42102专利代理师乐综胜(51)Int.Cl.G06V40/16(2022.01)G06V10/25(2022.01)权利要求书2页说明书4页附图1页(54)发明名称一种基于红外热图像人脸轮廓识别的增强显示系统及方法(57)摘要本发明公开了一种基于红外热图像人脸轮廓识别的增强显示系统及方法，包括用于采集驾驶员面部轮廓信息的双目红外摄像头、用于获取车外A柱外侧盲区图像的双目摄像头、显示屏以及控制单元。基于红外热图像下的人眼三维坐标重构，采用两次图像的透视变换，不仅增加了A柱盲区消除系统的适用范围和抗干扰能力，还使得A柱显示屏显示的盲区图像更加精确。同时，还增加了显示增强功能，将盲区危险物体的轮廓和距离标记在A柱显示屏上，可以更好的提示驾驶员，增强转向过程中安全性，更好的利用了A柱显示屏，增强了A柱显示屏的显示功能。CN114973381ACN114973381A权利要求书1/2页1.一种基于红外热图像人脸轮廓识别的增强显示系统，其特征在于：包括用于采集驾驶员面部轮廓信息的双目红外摄像头、用于获取车外A柱外侧盲区图像的双目摄像头、显示屏以及控制单元；双目红外摄像头设在车内正对驾驶员面部顶部的车身上，且双目红外摄像头的轴线在汽车方向盘平面的法平面上；双目摄像头布设在车外的A柱下方和车头相连接处，靠近驾驶员一侧的A柱上的双目摄像头相比于远离驾驶员一侧的A柱上的双目摄像头向车外倾斜布设；显示屏分别安装在汽车内部的两侧A柱上；双目红外摄像头、双目摄像头以及显示屏分别与控制单元电性相连。2.根据权利要求1所述的基于红外热图像人脸轮廓识别的增强显示系统，其特征在于：位于车外的双目摄像头分为右目摄像头和左目摄像头；右目摄像头采集到的图像为主要图像，左目摄像头采集到的图像为辅助图像。3.一种基于红外热图像人脸轮廓识别的增强显示方法，其特征在于：方法应用于如权利要求1或2所述的基于红外热图像人脸轮廓识别的增强显示系统，包括：S1：通过双目红外摄像头获取驾驶员人脸信息的热图像，控制单元依据人脸信息的热图像获取人眼在热像图中的坐标位置；S2：比较人眼在同一帧下的两幅热图像的坐标，根据相似三角形关系，获得深度信息，再由坐标变换矩阵获得人眼坐标在世界坐标系下的三维坐标信息，完成红外热图像下的人眼三维坐标重构；S3：依据实时获取的人眼三维坐标重构，对位于车外的双目摄像头的视图进行第一透视变换、第二透视变换以及裁剪得到用于显示在显示屏上的图像；S4，汽车控制单元根据双目摄像头的图像获得汽车盲区障碍物的视差图，并根据视差进行距离的计算。4.根据权利要求3所述的基于红外热图像人脸轮廓识别的增强显示方法，其特征在于：S1包括如下步骤，S11：双目红外摄像头通过对温度的感知，从而判断是否存在驾驶员，若存在驾驶员进入S12，若不存在驾驶员继续检测；S12：当检测出人脸时，首先判断是否佩戴有眼镜，若没有配戴眼镜则进入S13，若判断佩戴有眼镜则进入S14；S13：直接对人脸进行轮廓检测，建立平均人脸模型，通过平均人脸模型确定人眼所在ROI区域，并在ROI区域内寻找人眼位置，若找不到则将ROI区域的中点认为是人眼所在位置；S14：若在热图像中的人脸中检测到黑框，则将黑框位置设置为ROI区域，并使用霍夫变换寻找ROI区域的圆，从而确定驾驶员瞳孔在热图像中的坐标；若在热图像中的人脸中检测到黑色区域，则在人脸轮廓识别后进行偏光眼镜轮廓检测，根据偏光眼镜下的人眼位置模型估算人眼位置坐标。5.根据权利要求4所述的基于红外热图像人脸轮廓识别的增强显示方法，其特征在于：S13中，轮廓检测包括人脸轮廓和人脸部位轮廓。6.根据权利要求3所述的基于红外热图像人脸轮廓识别的增强显示方法，其特征在于：S3包括如下步骤，S31：依据汽车控制单元计算出的人眼在世界坐标系下的实时坐标，和已知的A柱显示2CN114973381A权利要求书2/2页屏顶角坐标以及显示屏中心坐标，计算得到图像的第一透视变换矩阵，将右目视图通过第一透视变换矩阵进行第一透视变换；S32：通过测量获得车外双目摄像头的成像平面的中心坐标和四个顶点的坐标，计算得到图像的第二透视变换矩阵，将右目视图通过第二透视变换矩阵进行第二透视变换；S33：根据A柱显示屏的大小，对右目视图进行相应的裁剪。7.根据权利要求3所述的基于红外热图像人脸轮廓识别的增强显示方法，其特征在于：S4包括，S41：