一种基于汽车环视相机的盲区中车辆监测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105711501A(43)申请公布日2016.06.29(21)申请号201610244615.8(22)申请日2016.04.19(71)申请人深圳市航盛电子股份有限公司地址518000广东省深圳市宝安区福永街道和平居委福园一路航盛工业园(72)发明人曹腾杨力许勤军(74)专利代理机构深圳市科吉华烽知识产权事务所(普通合伙)44248代理人张英彭益宏(51)Int.Cl.B60R1/00(2006.01)H04N7/18(2006.01)权利要求书4页说明书10页附图1页(54)发明名称一种基于汽车环视相机的盲区中车辆监测方法及系统(57)摘要本发明适用于汽车监测领域，提供了一种基于汽车环视相机的盲区中车辆监测方法及系统，所述系统包括环视鱼眼相机、处理器及显示器，所述环视相机与所述处理器连接，所述处理器与所述显示器双向通讯连接。解决车辆后视镜的视野不够，车辆两侧始终会存在目视观察的盲区，给车辆变道、并线等行车环节带来安全隐患。车辆在盲区中不同位置成像所导致的视角差异，实现较好的检测效果，同时还具有检测更大范围的盲区，更可靠的检测结果，以及检测速度较快的优点。CN105711501ACN105711501A权利要求书1/4页1.一种基于汽车环视相机的盲区中车辆监测方法，其特征在于，包括环视鱼眼相机、处理器及显示单元，所述方法包括以下步骤：A、环视鱼眼相机捕捉原始鱼眼图像，建立车体坐标系，以汽车在地面上的垂直投影的最小外接矩形的下边的中心点为车体坐标系原点，垂直向前记为X方向，水平向右记为Z方向，垂直向上记为Y方向，通过方程式进行校正，得到校正后的透视图像；其中(u′，v′)为校正后的透视图像上的像素坐标，(u0，v0)为主点像素坐标，fx和fy分别为图像水平方向和垂直方向上的焦距，222k1，k2，k3，k4，k5，k6为径向畸变参数，p1和p2为切向畸变参数，r＝x′+y′，(u，v)为原始图像上的对应像素坐标，(x′，y′)为以毫米为单位的实际的图像点的坐标，(x″，y″)为由透视模型计算出来的图像点坐标的理想值；B、对环视鱼眼相机进行转动得到虚拟相机，通过方程式将真实相机与虚拟相机进行映射，生成侧视图像；其中Pv和P0分别为虚拟相机和真实相机图像上的点，S是一个缩放因子，Kv和K0分别为虚拟相机和真实相机的内参数矩阵，K0V表示两个相机之间的旋转矩阵，R0表示真实相机相对于参考坐标系的旋转矩阵，RV表示虚拟相机相对于车体坐标系的旋转矩阵；C、根据透视投影基本原理，通过方程式s′p＝K(RP+t)得到虚拟相机的内参数矩阵及外参数矩阵，只考虑地面，令Y＝0，通过方程式生成地面距离矩阵；其中P(X，Y，Z)T表示车体坐标系下一个三维点，p(u，v，1)T表示相应的图像坐标系下的像素点的齐次坐标，S表示缩放因子，K，R和t是虚拟相机的内参矩阵和外参矩阵，(x，z)为车体坐标系下的X方向和Z方向这两个方向上的坐标；D、根据距离矩阵在地面上的垂直投影用矩形区域表示，矩形区域相对于距离矩阵，生成以轮胎中心点表示的监测区域图像ROI′；遍历距离矩阵中的每个点，对于某个点(u，v)来说，它的值为(x，z)，如果这个值满足不等式方程，则令ROI′(u，v)＝255，否则ROI′(u，v)＝0；其中，X-和X+是预设的车体坐标系下X方向需要监测的最小值和最大值的阈值，Z-和Z+是预设的车体坐标系下Z方向需要监测的最小值和最大值的阈值；每个点的值2CN105711501A权利要求书2/4页为0或255，0表示该点不需要进行后续的物体检测，255表示该点需要进行后续的物体检测；E、将以轮胎中心点表示的监测区域图像ROI′，通过方程式转换成以该矩形的左上角坐标表示的监测区域图像ROI，进而转换成监测点数组A在进行具体的物体检测；其中，M、N为目标物体的检测窗口大小M×N像素；F、对监测点数组A中的元素(u，v)所表示的检测窗口为(u，v，M，N)，输入检测窗口和侧视图像，采用公知技术进行检测，最后输出是否是目标物体。2.根据权利要求1所述的盲区中车辆监测方法，其特征在于，所述步骤A中还包括步骤：A1、通过张正友标定法得到环视鱼眼相机的内参数矩阵、径向畸变参数、切向畸变参数及环视鱼眼相机相对于车体坐标系的外参数矩阵。3.根据权利要求1所述的盲区中车辆监测方法，其特征在于，所述步骤B中还包括步骤：B1、转动环视鱼眼相机得到一个光轴与检测平面垂直的虚拟相机，通过虚拟相机可以得到消除透视失真后的图像；B2、在车辆正常行使过程中，将虚拟摄像机指向当前车辆左侧或右侧，即可得到侧后方来车的无失真的轮胎图像。4.根据权利要求1所述的盲区中车辆监测方法，其特征在于，所述步骤F中还包括步骤