一种透明A柱的智能显示系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113676618A(43)申请公布日2021.11.19(21)申请号202110960631.8H04N5/232(2006.01)(22)申请日2021.08.20H04N13/204(2018.01)(71)申请人东北大学地址110819辽宁省沈阳市和平区文化路3号巷11号(72)发明人赵嘉阳刘佳蕾卫彤宋高远邵烨翀李明宇李欣悦吴子扬王骄(74)专利代理机构沈阳东大知识产权代理有限公司21109代理人李在川(51)Int.Cl.H04N5/217(2011.01)G08B21/06(2006.01)H04N5/225(2006.01)权利要求书2页说明书5页附图3页(54)发明名称一种透明A柱的智能显示系统及方法(57)摘要本发明提供一种透明A柱的智能显示系统及方法，所述系统包括深度相机、柔性屏、摄像机、控制器、深度相机安装在A柱外侧，柔性屏镶嵌在A柱内侧，摄像机安装在柔性屏上，深度相机、柔性屏、摄像机分别与控制器电连接；通过对车外A柱盲区图像的采集，在车内再现三维的盲区图像，并且通过采集驾驶员的头部图像，实时跟踪驾驶员的人脸以及人眼位置，根据实时位置信息对盲区图像进行透视变换，实时在线人眼预观看的A柱盲区的三维图像，同时为了防止驾驶员疲劳驾驶，可以根据跟踪到的人眼的横纵比，实时判断驾驶员是否为疲劳驾驶，并自动报警提示，降低了由于盲区导致安全事故发生的风险，提高了道路行驶的安全性。CN113676618ACN113676618A权利要求书1/2页1.一种透明A柱的智能显示系统，其特征在于，包括深度相机、柔性屏、摄像机、控制器、深度相机安装在A柱外侧，柔性屏镶嵌在A柱内侧，摄像机安装在柔性屏上，深度相机、柔性屏、摄像机分别与控制器电连接；所述深度相机用于采集车辆的A柱盲区的图像；所述摄像机用于采集驾驶员头部的图像；所述控制器用于提取深度相机采集的图像中的深度信息，提取摄像机采集的图像中的头部、眼部位置信息，根据深度信息进行三维重构得到三维图像，根据位置信息对三维图像进行透视变换，并将透视后的三维图像传输到柔性屏上进行显示。2.根据权利要求1所述的一种透明A柱的智能显示系统，其特征在于，所述控制器还用于根据眼睛的纵横比判断驾驶员是否是疲劳驾驶，当根据摄像机采集到的图像计算出的纵横比值γ低于阈值δ的帧数超过一定时间时，则进行驾驶员疲劳驾驶的报警提示。3.一种采用权利要求1或2所述的透明A柱的智能显示系统的显示方法，其特征在于，采集车辆A柱盲区的图像以及车内驾驶员头部的图像，根据车内驾驶员头部的图像进行驾驶员人脸及人眼的检测与跟踪，判断驾驶员是否为疲劳驾驶；根据跟踪到的人脸及人眼所在的实时位置，对重构后的A柱盲区的图像进行透视变换得到人眼预观看的A柱盲区的三维图像。4.根据权利要求3所述的方法，其特征在于，包括：步骤1：采集车辆A柱盲区的图像，采集车内驾驶员头部的图像；步骤2：进行图像预处理，对车辆A柱盲区的图像进行中值滤波处理；对车内驾驶员头部的图像进行降噪处理；步骤3：对预处理后的A柱盲区的图像进行三维重构；步骤4：对预处理后的驾驶员头部的图像进行人脸及人眼的检测与跟踪；步骤5：计算跟踪到的人眼的横纵比，并判断驾驶员是否为疲劳驾驶；步骤6：根据跟踪到的人脸及人眼所在的实时位置，对重构后的三维图像进行透视变换，输出人眼预观看的A柱盲区的三维图像。5.根据权利要求4所述的方法，其特征在于，所述步骤3包括：步骤3.1：对滤波处理后的车辆A柱盲区的图像在基线上采样m倍，并进行滤波处理；步骤3.2：针对滤波处理后的图像以及预存的投影光斑模板图像，采用图像序列中对应像素差的绝对值之和进行局部匹配，得到原始深度图像；步骤3.3：对原始深度图像进行内外参矩阵变换得到点云图并以矩阵的形式存储；式中，(u,v)为图像坐标系下的任意坐标点，zc为相机坐标的z轴值即目标到相机的距离，(xw,yw,zw)为世界坐标系下的三维坐标点，f为深度相机焦距，dx、dy为像素点在两个方向上的物理尺寸，R为旋转矩阵，T为平移矩阵，步骤3.4：遍历矩阵化点云图，连接与任意一点相邻的两个点进行三角化构成三角面；2CN113676618A权利要求书2/2页步骤3.5：设置所有三角面顶点的法向，并将所有法向统一垂直向上得到三维重构后的车辆A柱盲区的三维图像。6.根据权利要求5所述的方法，其特征在于，所述步骤3.1中的滤波处理采用sobel滤波处理方式，当m＝8时，滤波效果最好，能保证在做双目匹配后实现3bit的亚像素精度。7.根据权利要求4所述的方法，其特征在于，所述步骤4具体表述为：使用Haar特征分类器和LBP级联分类器对降噪处理后的驾驶员头部的图像进行人脸及人眼的检测与跟踪，得到驾驶员头