一种基于权重掩膜的全景环视系统及全景图像融合方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115412676A(43)申请公布日2022.11.29(21)申请号202211107863.X(22)申请日2022.09.13(71)申请人清华大学地址100084北京市海淀区清华园申请人双自科技（北京）有限公司(72)发明人王文军孙兆聪刘思宇奉嘉明王慷(74)专利代理机构北京高沃律师事务所11569专利代理师万慧华(51)Int.Cl.H04N5/232(2006.01)H04N5/208(2006.01)权利要求书2页说明书8页附图7页(54)发明名称一种基于权重掩膜的全景环视系统及全景图像融合方法(57)摘要本发明涉及一种基于权重掩膜的全景环视系及全景图像融合方法，属于辅助驾驶领域。系统包括多个鱼眼摄像头、角度传感器、图像数据采集器、图像数据处理器和显示屏；鱼眼摄像头用于采集车外环境图像；角度传感器用于采集车间夹角数据；图像数据采集器用于将收集到的车外环境图像和车间夹角数据传输至图像数据处理器；图像数据处理器用于采用权重掩膜处理方法对车外环境图像和车间夹角数据进行处理，生成全景环视图像；显示屏用于显示全景环视图像。本发明能够较好地将多个鱼眼摄像头的图像融合，视野范围大并且没有视野盲区，保障车辆的安全驾驶。CN115412676ACN115412676A权利要求书1/2页1.一种基于权重掩膜的全景环视系统，其特征在于，包括：多个鱼眼摄像头、角度传感器、图像数据采集器、图像数据处理器和显示屏；多个所述鱼眼摄像头和所述角度传感器均与所述图像数据采集器连接；所述图像数据采集器与所述图像数据处理器连接；所述图像数据处理器与所述显示屏连接；所述鱼眼摄像头用于采集车外环境图像；所述角度传感器用于采集车间夹角数据；所述图像数据采集器用于将收集到的所述车外环境图像和所述车间夹角数据传输至所述图像数据处理器；所述图像数据处理器用于采用权重掩膜处理方法对所述车外环境图像和所述车间夹角数据进行处理，生成全景环视图像；所述显示屏用于显示所述全景环视图像。2.根据权利要求1所述的基于权重掩膜的全景环视系统，其特征在于，所述鱼眼摄像头的视场角为190°。3.根据权利要求2所述的基于权重掩膜的全景环视系统，其特征在于，所述图像数据采集器包括图像采集单元与车间夹角数据采集单元；所述图像采集单元与所述鱼眼摄像头连接；所述图像采集单元用于收集所述车外环境图像；所述车间夹角数据采集单元与所述角度传感器连接；所述车间夹角数据采集单元用于收集所述车间夹角数据。4.根据权利要求3所述的基于权重掩膜的全景环视系统，其特征在于，所述图像数据处理器包括图像标定单元、图像去畸变单元、图像投影单元、图像权重掩膜单元和图像融合单元；所述图像标定单元与所述图像采集单元连接；所述图像标定单元用于对所述车外环境图像进行标定，得到所述车外环境图像与去畸变图像的映射关系；所述图像去畸变单元与所述图像标定单元连接；所述图像去畸变单元用于根据所述映射关系对所述车外环境图像进行去畸变处理，得到去畸变图像；所述图像投影单元分别与所述图像去畸变单元和所述车间夹角数据采集单元连接；所述图像投影单元用于根据所述车间夹角数据设置投影点的位置，对所述去畸变图像进行投影，得到投影图像；所述图像权重掩膜单元与所述图像投影单元连接；所述图像权重掩膜单元用于对所述投影图像进行掩膜处理，得到权重掩膜图像；所述图像融合单元与所述图像权重掩膜单元连接；所述图像融合单元用于将多个所述权重掩膜图像进行融合，得到全景环视图像。5.一种基于权重掩膜的全景图像融合方法，其特征在于，所述方法应用于权利要求1‑4任一项所述的基于权重掩膜的全景环视系统，所述基于权重掩膜的全景图像融合方法包括：获取车外环境图像和车间夹角数据；对所述车外环境图像进行标定，得到所述车外环境图像与对应的标准位置的棋盘格图像的映射关系；根据所述映射关系对所述车外环境图像进行去畸变处理，得到去畸变图像；根据所述车间夹角数据设置投影点的位置，对所述去畸变图像进行投影，得到投影图像；2CN115412676A权利要求书2/2页对所述投影图像进行掩膜处理，得到权重掩膜图像；将多个所述权重掩膜图像进行融合，得到全景环视图像。6.根据权利要求5所述的基于权重掩膜的全景图像融合方法，其特征在于，所述对所述投影图像进行掩膜处理，得到权重掩膜图像，具体包括：测量车的尺寸，根据车的尺寸设计画布尺寸，确定感兴趣区的范围；根据所述感兴趣区的范围确定缩放比例；根据所述车间夹角数据确定所述投影图像中掩膜关键点的位置坐标；所述掩膜关键点包括定点、旋转变换点、投影边界点和铰接变换点；根据所述掩膜关键点的位置坐标和所述缩放比例，确定掩膜图像；利用内置算法计算所述掩膜图像中各个像素点的掩膜权重值；根据所述掩膜权重值对所述掩膜