一种立体车载环视方法、系统及车载中控装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107888894A(43)申请公布日2018.04.06(21)申请号201710949867.5(22)申请日2017.10.12(71)申请人浙江零跑科技有限公司地址310051浙江省杭州市滨江区物联网街451号芯图大厦6楼(72)发明人缪其恒严静苏巍刘振发王江明许炜(74)专利代理机构杭州杭诚专利事务所有限公司33109代理人尉伟敏王金兰(51)Int.Cl.H04N13/106(2018.01)H04N13/243(2018.01)G06T15/20(2011.01)G06T3/40(2006.01)权利要求书2页说明书5页附图3页(54)发明名称一种立体车载环视方法、系统及车载中控装置(57)摘要本发明公开了一种立体车载环视方法，包括:S1，获取车载相机的视图信息;S2，将来自所述车载相机的视图信息映射到预设的立体环境模型中，形成3D全场景视图；所述立体环境模型的映射关系包括平面部分映射关系、柱面部分映射关系以及球面部分映射关系；S3，根据从车载传感器获取的车辆状态信息，对3D全场景视图进行渲染，形成全景辅助视角视图；S4，将全景辅助视角视图输出至视觉界面。另外，本发明还公开了一种立体车载环视及车载中控装置。采用本发明，扩大了车载环视系统的显示范围。CN107888894ACN107888894A权利要求书1/2页1.一种立体车载环视方法，其特征在于，包括如下步骤：S1，获取车载相机的视图信息；S2，将来自所述车载相机的视图信息映射到预设的立体环境模型中，形成3D全场景视图；所述立体环境模型的映射关系包括平面部分映射关系、柱面部分映射关系以及球面部分映射关系；S3，根据从车载传感器获取的车辆状态信息，对3D全场景视图进行渲染，形成全景辅助视角视图；S4，将全景辅助视角视图输出至视觉界面。2.根据权利要求1所述的立体车载环视方法，其特征在于，步骤s1之前还包括：离线相机参数标定，所述离线相机参数标定包括：通过标定靶对相机内部参数进行标定，所述标定算法为：采用鱼眼镜头的径向畸变模型对相机内部参数进行标定，所述径向畸变模型为：θ′＝θ(1+θ2+θ4)其中，θ为图像中点对应的成像透视角；在相邻相机视野重合地面区域放置标定靶，计算逆投影矩阵H将矫正后图像中的像素点(u，v)映射到现实地面坐标系(X，Y)中。3.根据权利要求1所述的立体车载环视方法，其特征在于，步骤s2包括：将位于预设的图像消失线以下图像信息，映射到立体环境模型中的(X1，Y1，Z1)；将位于预设的图像消失线以上部分的图像信息，映射到立体环境模型中的(X2，Y2，Z2)。4.根据权利要求1所述的立体车载环视方法，其特征在于，还包括：提取相邻相机重合区域平均亮度，通过调整各相机亮度增益，使重合区域亮度差最小；所述调整个相机亮度增益的误差函数error为：其中，Nij相机i重叠于相机j的像素个数；gaini，gainj分别是相机i和j的增益；是相机i在于相机j重叠区域的像素平均值；σN是归一化的亮度误差的标准方差；σg是增益的标准方差；n是相机的个数。5.根据权利要求1所述的立体车载环视方法，其特征在于，还包括：在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合。6.根据权利要求1所述的立体车载环视方法，其特征在于，所述接缝方法为渐进接缝融合方法，所用的公式为：F(x，y)＝Wl(x，y)Fl(x，y)+Wr(x，y)Fr(x，y)其中，Fl(x，y)、Fr(x，y)是拼接的2个相邻相机的图像x，y是一个点的x和y方向坐标，坐标原点为图像左上角，向右向下为正；Wl、Wr为拼接的2个相邻相机的加权函数，由拼接缝确定。7.根据权利要求1所述的立体车载环视方法，其特征在于，步骤s3包括：根据从车载传感器获取的车辆状态信息，确定与车辆状态信息对应的全景辅助视角模式；2CN107888894A权利要求书2/2页根据所述确定的全景辅助视角模式，设定若干渲染点以及渲染所用的虚拟相机参数；虚拟相机采用小孔成像，根据所述确定的渲染点渲染全景场景视图，形成全景辅助视角视图。8.一种立体车载环视系统，其特征在于，包括车载传感器、相机、标定靶以及车载中控装置，所述标定靶设置于相邻相机视野重合的地面区域，用于对相机内部参数进行标定；所述相机、车载传感器分别与车载中控装置连接；其中，所述车载中控装置将来自环视相机的视图信息映射到预设的立体环境模型中形成全景场景视图，并根据从车载传感器获取的车辆状态信息，对全景场景视图进行渲染，形成全景辅助视角视图。9.一种车载中控装置，其特征在于，包括：存储单元，用于存储预设的相机投影映射表；映射单元，用于根据存储的相机投影映射表，将来自环视相机的视图信息映射到预设的立体环境