一种消除车辆A柱盲区的装置和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111739101A(43)申请公布日2020.10.02(21)申请号202010397855.8G06K9/62(2006.01)(22)申请日2020.05.12G06N3/04(2006.01)B60R1/00(2006.01)(71)申请人太原科技大学B60R11/02(2006.01)地址030024山西省太原市万柏林区窊流B60R11/04(2006.01)路66号(72)发明人王银李丽娟孙志毅孙前来王健安胡啸陈云龙(74)专利代理机构太原晋科知识产权代理事务所(特殊普通合伙)14110代理人任林芳(51)Int.Cl.G06T7/80(2017.01)G06T7/70(2017.01)G06T5/00(2006.01)G06K9/00(2006.01)权利要求书4页说明书8页附图3页(54)发明名称一种消除车辆A柱盲区的装置和方法(57)摘要本发明涉及一种消除车辆A柱盲区的装置及方法，通过在车内左右A柱上分别安装双目相机模块，能准确识别驾驶员双眼及双眼距左右A柱距离，结合A柱尺寸，准确计算出驾驶员A柱盲区；根据A柱盲区信息，结合外部广角相机提供的A柱外侧图像信息，计算出驾驶员实际盲区图像，并在柔性显示屏上显示，能有效地提高车辆驾驶安全性能。CN111739101ACN111739101A权利要求书1/4页1.一种消除车辆A柱盲区的装置，其特征在于，包括：第一双目摄像模块、第二双目摄像模块、第一广角相机、第二广角相机、第一柔性显示屏、第二柔性显示屏及控制器；其中，第一广角相机安装于左侧A柱的车外侧，第二广角相机安装于右侧A柱的车外侧；第一双目摄像模块安装于左侧A柱的车内侧装饰板上，第二双目摄像模块安装于右侧A柱的车内侧装饰板上；第一柔性显示屏安装于左侧A柱的车内侧装饰板上，宽度与A柱宽度相等；第二柔性显示屏安装于右侧A柱的车内侧装饰板上，宽度与A柱宽度相等；控制器接收第一双目摄像模块、第二双目摄像模块拍摄的驾驶员图像，获取驾驶员眼部位置及双眼距离左右A柱距离信息；根据驾驶员眼部位置及双眼距离左右A柱距离信息及A柱尺寸，进行立体校正及全局立体匹配，计算匹配点视差，分别计算驾驶员双眼实际坐标，确定驾驶员实际盲区信息；根据驾驶员实际盲区信息，对第一广角相机、第二广角相机获取的A柱外侧图像信息进行截取，获取实际盲区图像信息，并在第一柔性显示屏、第二柔性显示屏上显示盲区图像信息。2.根据权利要求1所述的消除车辆A柱盲区的装置，其特征在于，第一双目摄像模块和第二双目摄像模块均包括两个单目摄像机。3.一种消除车辆A柱盲区的方法，利用如权利要求1或2所述的消除车辆A柱盲区的装置进行车辆A柱盲区消除，其特征在于，包括：分别对第一双目摄像模块和第二双目摄像模块的两个单目摄像机进行标定，得到单目摄像机的内参和外参；利用标记驾驶员双目位置的图像集训练卷积神经网络模型YOLOV3；利用第一双目摄像模块和第二双目摄像模块分别采集实时驾驶员图像，并传输到训练好的卷积神经网络模型YOLOV3，检测实时驾驶员图像中驾驶员双目位置；采用全局立体匹配算法对检测到驾驶员双目位置的实时驾驶员图像进行匹配，获取视差图；依据检测到的驾驶员双眼位置及获取的视差图，计算驾驶员双眼与车辆A柱之间的距离；计算驾驶员双目与第一双目摄像模块和第二双目摄像模块的单目射线机基线之间的夹角，及驾驶员被车辆A柱挡住的盲区角度，从第一广角相机和第二广角相机获取的图像中截取图像，并相应的显示于第一柔性显示屏和第二柔性显示屏上。4.根据权利要求3所述的消除车辆A柱盲区的方法，其特征在于，单目摄像机的内参和外参的步骤中，包括步骤：依据世界坐标系、相机坐标系和像素坐标系之间的变换关系，将空间中的三维点P(XYZ)变换为图像中的二维点p(u,v)；其中，s为尺度因子，f为相机焦距，dx和dy为相机单个感光元器件的宽和高，u0和v0为成2CN111739101A权利要求书2/4页像坐标系原点对应于像素坐标系中的坐标。矩阵K为相机内参矩阵，R为旋转矩阵，T为平移矩阵，矩阵B称为相机外参矩阵；二维棋盘格标定法中的图像平面与标定物棋盘格平面二者的单应性投影关系为：sp＝K[RT]P＝HP根据棋盘格的4～8个固定角点坐标，解得单应性矩阵H；根据单应性矩阵H求得内参矩阵K、旋转矩阵R、平移矩阵T；计算畸变系数，针对径向畸变：其中，(u,v)表示理想状态下的像素坐标，没有因为畸变产生影响；代表了因畸变作用而产生影响的实际状态下的像素坐标。k1和k2是前两阶的畸变参数；转化为矩阵形式记为：Dk＝d则：T-1Tk＝[k1k2]T＝(DD)Dd根据图像每一像素点坐标，计算得畸变系数k1,k2。5.根据权利要求3所述的消除车辆A柱盲区