一种汽车A柱盲区图像显示系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111731187A(43)申请公布日2020.10.02(21)申请号202010567378.5(22)申请日2020.06.19(71)申请人杭州视为科技有限公司地址310000浙江省杭州市萧山区启迪路198号，E座601(72)发明人李天军魏会奇张丽张庆段元芳刘翔(74)专利代理机构北京慕达星云知识产权代理事务所(特殊普通合伙)11465代理人符继超(51)Int.Cl.B60R1/00(2006.01)B60R11/04(2006.01)权利要求书2页说明书9页附图4页(54)发明名称一种汽车A柱盲区图像显示系统及方法(57)摘要本发明公开了一种汽车A柱盲区图像显示系统及方法，该系统的多个相机及柔性显示屏安装在汽车两端的A柱上，中央处理器封装在汽车内部，无需改变汽车原有的硬件结构，安装更加简便，且系统工作更加稳定可靠。该方法基于头部姿态和人眼位置确定A柱盲区图像坐标范围，并从拍摄的外部图像中截取A柱盲区图像后，通过透视变换调整截取的A柱盲区图像，调整画面角度，以更接近外部实际的环境，该方法可以根据驾驶员头部姿态和人眼位置变化动态显示最终的A柱盲区图像，更加准确可靠。CN111731187ACN111731187A权利要求书1/2页1.一种汽车A柱盲区图像显示系统，其特征在于，包括柔性显示屏、CCD相机、红外摄像头、超广角相机以及中央处理器，所述柔性显示屏分别安装于汽车内部两侧的A柱上，所述CCD相机和所述红外摄像头分别安装于所述柔性显示屏的上方，所述超广角相机分别安装于汽车外部两侧的A柱上，所述中央处理器封装于汽车内部，所述CCD相机、红外摄像头和超广角相机均与所述中央处理器电连接，所述中央处理器与所述柔性显示屏电连接；所述CCD相机或所述红外摄像头用于实时采集驾驶员的头部图像，所述超广角相机用于实时采集A柱外部的图像，所述中央处理器用于获取所述头部图像，提取头部图像中的头部姿态和人眼信息，并对所述头部姿态和人眼信息进行分析处理，得到当前姿态下A柱盲区的范围，并在A柱外部的图像中截取A柱盲区图像，经透视变换后得到最终的A柱盲区图像，所述柔性显示屏用于实时显示最终的A柱盲区图像。2.一种汽车A柱盲区图像显示方法，其特征在于，包括：图像采集：实时采集驾驶员的头部图像，并采集同一时刻A柱外部的环境图像；姿态分析：对所述头部图像进行识别分析，获取驾驶员的头部姿态以及当前姿态下A柱盲区与人眼的夹角，并确定人眼的三维坐标；模型训练：建立广义回归神经网络模型，将预先获得的头部姿态和人眼数据以及不同视角下对应的A柱盲区图像坐标作为样本数据对所述广义回归神经网络模型进行训练；范围确定：将所述A柱盲区与人眼的夹角以及所述人眼的三维坐标输入训练好的广义回归神经网络模型，得到当前视角下A柱盲区图像的坐标范围；图像获取：根据所述A柱盲区图像的坐标范围从所述A柱外部的环境图像中截取对应的A柱盲区图像，并对截取得到的所述A柱盲区图像进行透视变换，得到最终的A柱盲区图像；图像输出：输出最终的A柱盲区图像，并进行实时显示。3.根据权利要求2所述的一种汽车A柱盲区图像显示方法，其特征在于，获取驾驶员的头部姿态以及当前姿态下A柱盲区与人眼的夹角的过程，具体包括：从所述头部图像中提取人眼信息，并捕捉头部姿态；根据所述人眼信息确定人眼在图像坐标系中的坐标，并将人眼在图像坐标系中的坐标进行转换，得到人眼在世界坐标系下的坐标；根据所述人眼信息感知人眼距离A柱的距离，并获取角膜反射参数；根据所述人眼在世界坐标系下的坐标、人眼距离A柱的距离以及角膜反射参数对捕获到的头部姿态进行识别，并确定当前头部姿态下A柱盲区与人眼的夹角。4.根据权利要求3所述的一种汽车A柱盲区图像显示方法，其特征在于，将人眼在图像坐标系中的坐标进行转换，得到人眼在世界坐标系下的坐标的过程，使用的转换公式为：其中，(u,v,1)表示人眼在图像坐标系中的坐标，(xw,yw,zw)表示人眼在世界坐标系下的坐标；zc表示图像坐标系；α和β分别表示相机焦距在x坐标方向和y坐标方向所能容纳的实际像素个数；R为3×3的正交单位矩阵；T为三维的平移向量；(xm，ym)为相机光心在像素坐标系下的投影点位置；M1和M2分别表示相机的内外参矩阵。2CN111731187A权利要求书2/2页5.根据权利要求3所述的一种汽车A柱盲区图像显示方法，其特征在于，确定人眼的三维坐标的过程，具体包括：对所述头部图像进行畸变校正；根据校正后的头部图像通过立体匹配算法计算人眼与两侧相机的视差；根据计算得到的视差以及相机参数信息计算得到人眼的三维坐标。6.根据权利要求5所述的一种汽车A柱盲区图像显示方法，其特征在于，所述人眼的三维坐标(X，Y，Z)的计算公式