全景图像生成方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115936986A(43)申请公布日2023.04.07(21)申请号202211540712.3(22)申请日2022.12.02(71)申请人广州小鹏自动驾驶科技有限公司地址510000广东省广州市黄埔区中新知识城亿创街1号406房之46(72)发明人宋灵杰韦添元郭昌坚罗举(74)专利代理机构深圳市世纪恒程知识产权代理事务所44287专利代理师胥巧莉(51)Int.Cl.G06T3/40(2006.01)G06T7/30(2017.01)权利要求书2页说明书9页附图6页(54)发明名称全景图像生成方法、装置、设备及存储介质(57)摘要本发明公开了一种全景图像生成方法、装置、设备及存储介质，属于图像处理技术领域。本发明通过生成多个连续的三维鸟瞰图；获取车辆在行驶过程中的车辆信息；基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像；获取车身周围环境的图像；将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境，利用三维鸟瞰图构建跟更加准确的底盘区域的图像，能够实现底盘区域的可视化，然后再通过融合的方式使得底盘区域与其他摄像头区域拍摄到的图像完美无缝且无差别的全景图像，消除了底盘区域的图像贴图感，使得整个全景图像更加真实。CN115936986ACN115936986A权利要求书1/2页1.一种全景图像生成方法，其特征在于，所述全景图像生成方法包括：生成多个连续的三维鸟瞰图；获取车辆在行驶过程中的车辆信息；基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像；获取车身周围环境的图像；将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示车身周围和底盘区域的环境。2.如权利要求1所述的全景图像生成方法，其特征在于，所述基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像，包括：对多个连续的三维鸟瞰图进行光度对齐处理，得到处理后的多个连续的三维鸟瞰图；基于所述车辆信息确定当前车辆姿态和当前位置；根据所述当前车辆姿态、所述当前位置以及所述处理后的多个连续的三维鸟瞰图对底盘区域进行像素填充，得到底盘区域的图像。3.如权利要求2所述的全景图像生成方法，其特征在于，所述根据所述当前车辆姿态、所述当前位置以及所述处理后的多个连续的三维鸟瞰图对底盘区域进行像素填充，包括：基于各个三维鸟瞰图对应的时刻从所述处理后的多个连续的三维鸟瞰图选取出当前时刻的三维鸟瞰图；根据所述当前车辆姿态和所述当前位置从所述处理后的多个连续的三维鸟瞰图选取出上一时刻的三维鸟瞰图；根据所述当前时刻的三维鸟瞰图和所述上一时刻的三维鸟瞰图确定车辆底盘所覆盖的区域；从所述上一时刻的三维鸟瞰图中提取出所述车辆底盘所覆盖的区域对应的像素，并通过所述像素对底盘区域进行填充。4.如权利要求3所述的全景图像生成方法，其特征在于，所述根据所述当前车辆姿态和所述当前位置从所述处理后的多个连续的三维鸟瞰图选取出上一时刻的三维鸟瞰图，包括：根据所述当前车辆姿态和所述当前位置确定车辆上一时刻所处的位置；根据所述车辆上一时刻所处的位置从所述处理后的多个连续的三维鸟瞰图选取出上一时刻的三维鸟瞰图。5.如权利要求1所述的全景图像生成方法，其特征在于，所述生成多个连续的三维鸟瞰图，包括：构建图像变换查找表；通过设置在车身四周的摄像头获取不同时刻车身周围环境的二维图像；基于所述图像变换查找表以及预设投影模型将所述车身周围环境的二维图像转换为多个连续的三维鸟瞰图。6.如权利要求5所述的全景图像生成方法，其特征在于，所述构建图像变换查找表，包括：对设置在车身四周的摄像头的内外参数进行标定；根据标定后的内外参数确定各个摄像头拍摄到的二维图像与预设投影模型上的三维2CN115936986A权利要求书2/2页坐标点之间的对应关系；根据所述对应关系构建图像变换查找表。7.如权利要求1至6中任一项所述的全景图像生成方法，其特征在于，所述将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，包括：通过纹理贴图的方式将所述底盘区域的图像与预设投影模型对应的底盘区域进行贴合，得到目标底盘区域图像；将所述目标底盘区域图像与所述车身周围环境的图像进行融合，得到全景图像。8.一种全景图像生成装置，其特征在于，所述全景图像生成装置包括：生成模块，用于生成多个连续的三维鸟瞰图；读取模块，用于获取车辆在行驶过程中的车辆信息；处理模块，用于基于所述车辆信息以及所述多个连续的三维鸟瞰图生成底盘区域的图像；拍摄模块，用于获取车身周围环境的图像；融合模块，用于将所述底盘区域的图像与所述车身周围环境的图像进行融合，得到全景图像，所述全景图像用于显示