一种基于侧环视鱼眼相机输入的多列车铰接角测量方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110378201A(43)申请公布日2019.10.25(21)申请号201910486361.4G01B11/26(2006.01)(22)申请日2019.06.05(71)申请人浙江零跑科技有限公司地址310051浙江省杭州市滨江区物联网街451号1楼、6楼(72)发明人缪其恒苏巍王江明许炜(74)专利代理机构杭州杭诚专利事务所有限公司33109代理人尉伟敏(51)Int.Cl.G06K9/00(2006.01)G06K9/32(2006.01)G06K9/34(2006.01)G06K9/62(2006.01)G06T7/80(2017.01)权利要求书3页说明书6页附图2页(54)发明名称一种基于侧环视鱼眼相机输入的多列车铰接角测量方法(57)摘要本发明涉及车辆控制领域，具体涉及一种基于侧环视鱼眼相机输入的多列车铰接角测量方法，包括以下步骤：A）安装鱼眼相机，将原始图像的ROI部分映射到鸟瞰视图中，标记制作样本图像；B）建立和训练图像识别分割神经网络；C）建立和训练铰接角回归网络，将输出经上下限修正及滤波修正后，作为铰接角测量值。本发明的实质性效果是：通过图像处理实时得出铰接角，可集成于环视系统，不会引入额外硬件成本，不容易被干扰，工作稳定可靠；基于轮胎语义特征进行铰接角估算，相较于基于车身轮廓特征的方法，鲁棒性与移植性更强，推广使用成本低。CN110378201ACN110378201A权利要求书1/3页1.一种基于侧环视鱼眼相机输入的多列车铰接角测量方法，其特征在于，包括以下步骤：A)在列车两侧安装鱼眼相机，标定鱼眼相机原始图像的ROI部分，将原始图像的ROI部分映射到以列车间铰接点为坐标原点的鸟瞰视图中，缩放至预设尺寸，作为实时采样图像，存储若干个采样图像并经人工标注轮胎区域及铰接角后作为样本图像；B)建立图像识别分割神经网络，输入为步骤A获得的实时采样图像，输出为分别表示像素为轮胎区域的概率和像素为背景区域的概率两个矩阵，将表示像素为轮胎区域的概率的矩阵二值化后作为实时识别矩阵，使用步骤A存储的样本图像训练图像识别分割神经网络，将图像识别分割神经网络的输出关联对应的人工标记铰接角后，作为样本矩阵；C)建立铰接角回归网络，输入为步骤B获得的实时识别矩阵，输出为铰链角，使用步骤B获得的样本矩阵训练后，将铰接角回归网络在实时识别矩阵下的输出，作为铰接角测量值。2.根据权利要求1所述的一种基于侧环视鱼眼相机输入的多列车铰接角测量方法，其特征在于，步骤B中，训练图像识别分割神经网络时，使用损失函数Ltyre表示神经网络输出值与真实值的距离，其中，x，y为输入图像的像素坐标，w，h分别为输入图像的像素宽度和高度，gx，y为相应坐标的人工标定语义标签，px，y为图像识别分割神经网络在对应坐标的输出值。3.根据权利要求1或2所述的一种基于侧环视鱼眼相机输入的多列车铰接角测量方法，其特征在于，步骤B中，将表示像素为轮胎区域的概率的矩阵二值化的方法为：其中，(x，y)为像素点坐标，M(x，y)表示实时识别矩阵的元素值，ch1(x，y)为像素点(x，y)为轮胎区域的概率，ch0(x，y)为像素点(x，y)为背景区域的概率，Tmin为设定阈值。4.根据权利要求1或2所述的一种基于侧环视鱼眼相机输入的多列车铰接角测量方法，其特征在于，步骤A中，在采样图像经人工标注轮胎区域后，进行样本扩充操作，具体为使用随机裁剪、旋转、扭曲或色彩变换操作，生产新的采样图像。5.根据权利要求2所述的一种基于侧环视鱼眼相机输入的多列车铰接角测量方法，其特征在于，步骤B中，训练图像识别分割神经网络时，使用批量随机梯度下降法，求解神经网络参数的最优组合。6.根据权利要求1或2所述的一种基于侧环视鱼眼相机输入的多列车铰接角测量方法，其特征在于，步骤A中，标定鱼眼相机原始图像的ROI部分具体包括以下步骤：2CN110378201A权利要求书2/3页A11)在列车静止时，人工标定鱼眼相机原始图像的ROI区域，并为ROI区域选择在列车车体上的相对静止参照；A12)列车行驶时，建立列车低速运动学模型，输入量为车速、车体长度、车体铰接位置以及方向盘转角，进行几何模拟，确定相对静止参照位置，进而动态的确定ROI区域。7.根据权利要求1或2所述的一种基于侧环视鱼眼相机输入的多列车铰接角测量方法，其特征在于，步骤C中，训练铰接角回归网络时，使用损失函数Lr表示铰接角回归网络输出值与真实值的距离，其中，Γ为铰接角回归网络对铰接角预测值，G为人工标记铰接角。8.根据权利要求1或2所述的一种基于侧环视鱼眼相机输入的多列车铰接角测量方法，其特征在于，步骤C中，铰接角回归网络输出铰接角测量值后，还包括对铰接角测