全景环视图生成方法、车载设备及车载系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110636263A(43)申请公布日2019.12.31(21)申请号201910892238.2(22)申请日2019.09.20(71)申请人黑芝麻智能科技（上海）有限公司地址201206上海市浦东新区锦绣东路2777弄36号11楼(72)发明人李文学(74)专利代理机构广州华进联合专利商标代理有限公司44224代理人何冲黄隶凡(51)Int.Cl.H04N7/18(2006.01)G06T3/00(2006.01)G06T3/40(2006.01)权利要求书2页说明书9页附图9页(54)发明名称全景环视图生成方法、车载设备及车载系统(57)摘要本发明涉及一种全景环视图生成方法、车载设备和车载系统。该方法包括：获取车辆周围区域的图像、方向盘转角信息和车速信息；变换拼接生成与时间相关联的环视图，使用ORB算法提取特征点；利用方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，在当前时刻环视图中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配；计算仿射变换矩阵并进行仿射变换，与当前时刻环视图进行加权融合并保存；重复上述步骤，获得连续更新的全景环视图。该方法、设备和系统能够消除车底盲区，实现全景透视，并且计算快速，准确度高。CN110636263ACN110636263A权利要求书1/2页1.一种全景环视图生成方法，其特征在于，包括以下步骤：从安装在车辆上的多个摄像头获取所述车辆周围区域的图像，并且从所述车辆获取方向盘转角信息和车速信息；将从所述多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图，并保存所述当前时刻环视图；将所述当前时刻环视图与已保存的上一时刻环视图进行配准计算，其中所述配准计算包括：使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点；利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置，在所述当前时刻环视图的特征点中选取位于所述位置附近的特征点与所述上一时刻环视图的特征点进行匹配；计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵；利用所述仿射变换矩阵对所述上一时刻环视图进行仿射变换，并与所述当前时刻环视图进行加权融合，生成更新的环视图，并保存所述更新的环视图；重复上述步骤，获得连续更新的全景环视图。2.根据权利要求1所述的全景环视图生成方法，其特征在于，所述配准计算，还包括：利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵；所述利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置包括：利用所述第一变换矩阵确定所述上一时刻环视图的特征点在所述当前时刻环视图中的位置。3.根据权利要求1所述的全景环视图生成方法，其特征在于，所述配准计算，还包括：利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵；所述计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵包括：根据提取的所述上一时刻环视图的特征点以及所述当前时刻环视图的特征点，利用RANSAC算法计算第二变换矩阵；计算所述第二变换矩阵和所述第一变换矩阵的相似度，当所述相似度小于预设阈值,使用所述第一变换矩阵为所述仿射变换矩阵，而当所述相似度大于或等于所述预设阈值，使用所述第二变换矩阵为所述仿射变换矩阵。4.根据权利要求2或3所述的全景环视图生成方法，其特征在于，所述第一变换矩阵为：其中(Px,Py)为车辆运动旋转圆心的坐标，θ为上一时刻至当前时刻车辆的旋转角度，(u0,v0)为在所述上一时刻环视图的特征点在所述上一时刻环视图中的坐标，(u1,v1)为所述上一时刻环视图的特征点在所述当前时刻环视图中的坐标。5.根据权利要求1至3任意一项所述的全景环视图生成方法，其特征在于，所述使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点包括：构造改进的四叉树来表示实际提取的特征点，所述四叉树的每个节点拥有自身占有的2CN110636263A权利要求书2/2页物理空间和所述节点内包含的关键点；根据所述物理空间对所述关键点等大小进行一分四分裂，同时将原有的所述关键点划分给其所在的子节点，直至所述四叉树的节点数量大于等于目标关键点数量时，或所述四叉树的节点数量不再变化时，所述四叉树停止分裂；当所述四叉树的节点具有的关键点数量大于1时，选取其中评分最高的特征点作为提取的特征点。6.一种车载设备，其搭载在车辆上，其特征在