图像对齐方法和装置、电子设备和计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113674331A(43)申请公布日2021.11.19(21)申请号202110977502.X(22)申请日2021.08.24(71)申请人广州极飞科技股份有限公司地址510000广东省广州市天河区高普路115号C座(72)发明人叶培楚刘鹏(74)专利代理机构北京布瑞知识产权代理有限公司11505代理人秦卫中(51)Int.Cl.G06T7/30(2017.01)G06T7/579(2017.01)G06T7/246(2017.01)G06T7/70(2017.01)权利要求书2页说明书13页附图6页(54)发明名称图像对齐方法和装置、电子设备和计算机可读存储介质(57)摘要本申请涉及图像处理技术领域，具体涉及一种图像对齐方法和图像对齐装置，以及电子设备和计算机可读存储介质，解决了现有图像对齐方法对齐准确性差的问题。本申请实施例提供的图像对齐方法，基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定了图像采集装置对应的深度图，从而为飞行器中的不同波段的多个相机提供了真实的深度数据，使多个相机各自采集的图像可以根据真实的深度数据进行图像对齐，与现有技术中假设深度数据为一个固定且统一的数值的方法相比，本申请大大提高了图像对齐的准确性。CN113674331ACN113674331A权利要求书1/2页1.一种图像对齐方法，其特征在于，包括：基于飞行器中的图像采集装置的地理位置信息和所述图像采集装置采集的目标场景图像，确定所述图像采集装置对应的深度图；基于所述图像采集装置对应的深度图、所述飞行器中的不同波段的多个相机各自采集的图像、所述图像采集装置和所述多个相机之间的相对变换关系，确定所述多个相机各自采集的图像对应的对齐图像。2.根据权利要求1所述的图像对齐方法，其特征在于，所述基于飞行器中的图像采集装置的地理位置信息和所述图像采集装置采集的目标场景图像，确定所述图像采集装置对应的深度图，包括：确定所述图像采集装置采集的至少两帧所述目标场景图像；基于所述至少两帧目标场景图像，确定在所述图像采集装置的相机坐标系下，所述图像采集装置对应的第一相机位姿信息和所述目标场景对应的第一三维点云数据；基于所述图像采集装置的地理位置信息、所述第一相机位姿信息和所述第一三维点云数据，确定所述图像采集装置对应的深度图。3.根据权利要求2所述的图像对齐方法，其特征在于，所述基于所述至少两帧目标场景图像，确定在所述图像采集装置的相机坐标系下，所述图像采集装置对应的第一相机位姿信息和所述目标场景对应的第一三维点云数据，包括：分别提取所述至少两帧目标场景图像各自对应的特征点集合；基于所述至少两帧目标场景图像各自对应的特征点集合进行特征匹配和运动估计，确定运动估计数据；基于所述运动估计数据，确定所述第一相机位姿信息和所述第一三维点云数据。4.根据权利要求2所述的图像对齐方法，其特征在于，所述基于所述图像采集装置的地理位置信息、所述第一相机位姿信息和所述第一三维点云数据，确定所述图像采集装置对应的深度图，包括：基于所述图像采集装置的地理位置信息、所述第一相机位姿信息和所述第一三维点云数据，确定在世界坐标系下，所述目标场景对应的第二三维点云数据；基于所述图像采集装置的地理位置信息和所述第二三维点云数据，确定所述图像采集装置对应的深度图。5.根据权利要求1至4任一项所述的图像对齐方法，其特征在于，在所述基于飞行器中的图像采集装置的地理位置信息和所述图像采集装置采集的目标场景图像，确定所述图像采集装置对应的深度图之前，还包括：获取基于飞行器中的定位装置得到的定位数据；基于所述定位数据、所述图像采集装置和所述定位装置之间的相对变换关系，确定所述图像采集装置的地理位置信息。6.根据权利要求1至4任一项所述的图像对齐方法，其特征在于，所述基于所述图像采集装置对应的深度图、所述飞行器中的不同波段的多个相机各自采集的图像、所述图像采集装置和所述多个相机之间的位置坐标变换数据，确定所述多个相机各自采集的图像对应的对齐图像，包括：基于所述图像采集装置对应的深度图、所述图像采集装置和所述多个相机之间的相对2CN113674331A权利要求书2/2页变换关系、所述图像采集装置和所述多个相机各自的内参，确定所述多个相机各自对应的深度图；基于所述多个相机各自对应的深度图和所述多个相机各自采集的图像，确定所述多个相机各自采集的图像对应的对齐图像。7.根据权利要求6所述的图像对齐方法，其特征在于，所述基于所述图像采集装置对应的深度图、所述图像采集装置和所述多个相机之间的相对变换关系、所述图像采集装置和所述多个相机各自的内参，确定所述多个相机各自对应的深度图，包括：基于所述图像采集装置的深