一种基于图像融合的车端全景视角辅助驾驶系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114640801A(43)申请公布日2022.06.17(21)申请号202210124847.5G06F17/16(2006.01)(22)申请日2022.02.10(71)申请人浙江工业大学地址310014浙江省杭州市拱墅区潮王路18号(72)发明人仇翔赵嘉楠应皓哲禹鑫燚欧林林魏岩(74)专利代理机构杭州天正专利事务所有限公司33201专利代理师王兵王幸祥(51)Int.Cl.H04N5/247(2006.01)H04N5/265(2006.01)G06T3/40(2006.01)G06T1/20(2006.01)权利要求书3页说明书5页附图2页(54)发明名称一种基于图像融合的车端全景视角辅助驾驶系统(57)摘要一种基于图像融合的车端全景视角辅助驾驶系统，包括：用于采集车身周围360°道路信息的图像采集模块，用来实时处理图像采集模块输出图像的嵌入式图像处理设备，以及用于显示车端全景图像的图像显示设备。其中，嵌入式图像处理设备与其他两种设备之间用线缆建立物理连接；使用三个安装在车辆上不同位置且视角为180°的鱼眼摄像机采集图像，并采用视频编码器和视频采集卡将多路模拟视频图像整合成一路。嵌入式图像处理设备将整合后的数字视频图像经过鱼眼图像处理模块以及全景图像拼接器，将三个不同角度的数字视频图像拼接成一个全景图像，并通过Web全景播放器将拼接后的全景图像在图像显示设备上显示。本发明能消除大型专用车辆行驶时的视野盲区。CN114640801ACN114640801A权利要求书1/3页1.一种基于图像融合的车端全景视角辅助驾驶系统，其特征在于：包括：用于采集车身周围360°道路环境信息的图像采集模块，用来实时处理图像采集模块输出图像的嵌入式图像处理设备，以及用于显示车端全景图像的图像显示设备；所述图像采集设备采用三个鱼眼相机来采集车身周围360°的道路环境，使用视频编码器将三路鱼眼相机的输出图像整合成一路模拟视频，并由视频采集卡将该路模拟视频转化为数字视频，通过线缆传输给嵌入式图像处理设备中的鱼眼图像处理模块进行图像处理；所述嵌入式图像处理设备包括鱼眼图像处理模块；Web全景播放器；全景图像拼接器；鱼眼图像处理模块，处理视频采集卡输出的原始鱼眼图像；采用经纬度展开的方式将原始鱼眼图像矫正为环视图来提高最后全景拼接的效果：通过对鱼眼图像中的像素坐标进行一系列的变化，将2D笛卡尔坐标系中的像素坐标变换到球形的笛卡尔坐标系中，最终将球形笛卡尔坐标系下的坐标转换为经纬度坐标，在此之后，基于经纬度坐标进行像素点的映射，以此来达到将鱼眼图像转换成环视图，具体操作步骤如下：1)获取到原始的鱼眼图像后，以三视角鱼眼成像的圆心和半径编写圆形的蒙版函数来截取出目标的图像区域，其中，截取后的图像区域的像素点的坐标范围如公式(1)所示：x∈[0,cols‑1],y∈[0,rows‑1](1)其中，x，y分别是截取后图像的像素点坐标的横坐标与纵坐标，cols是原始鱼眼图像的横向宽度，rows是原始鱼眼图像的纵向宽度；2)为了控制最终经过图像融合后的视频分辨率，需要控制步骤1)中输出图片的尺寸大小；3)将截取后的图像区域的像素坐标点(x,y)从2D笛卡尔坐标系转换成标准坐标A(xA,yA)，转换关系如公式(2)所示：其中，x，y分别是截取后图像的像素点坐标的横坐标与纵坐标，cols是原始鱼眼图像的横向宽度，rows是原始鱼眼图像的纵向宽度；4)将标准坐标A(xA,yA)转换成球形的三维笛卡尔坐标P(yp,yp,zp)，转换公式如公式(3)、(4)所示：P(p,φ,θ)(3)其中，P为球面上一点坐标与原点O之间的连线OP的径向距离，θ为OP与z轴之间的夹角，φ为OP在xOy平面的投影与x轴的夹角，r为球的半径，F为鱼眼相机的焦距，将球坐标系根据公式(5)转换为笛卡尔坐标系：xp＝psinθcosφ,yp＝psinθsinφ,zp＝pcosθ(5)5)将空间坐标系P转换成经纬度坐标，转换关系如公式(6)所示：其中，xp,yp,zp是P点的坐标，latitude是经度坐标，longitude是纬度坐标；6)根据步骤5)中的经纬度坐标转换映射为展开图的像素坐标(xo,yo)，映射关系如公式2CN114640801A权利要求书2/3页(7)所示：其中，x0表示的是展开图中的像素横坐标，y0表示的是展开图中的像素纵坐标；7)再完成像素点映射后，画面中会出现没有被像素点映射到的黑色空隙点，针对这些黑色区域再利用cubic插值算法进行填补来达到输出图像完整的效果；全景图像拼接器，将三个经过鱼眼图像处理模块处理后的鱼眼图像进行全景图像的拼接，包括：为了保证拼接后视野的连贯性，需要将三个不同方向的鱼眼相机按照固定