视觉定位方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111563922A(43)申请公布日2020.08.21(21)申请号202010225599.4(22)申请日2020.03.26(71)申请人北京迈格威科技有限公司地址100086北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人王金戈黄灿刘骁(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人莎日娜(51)Int.Cl.G06T7/38(2017.01)G06K9/62(2006.01)权利要求书2页说明书13页附图3页(54)发明名称视觉定位方法、装置、电子设备及存储介质(57)摘要本申请实施例提供了视觉定位方法、装置、电子设备及存储介质，该方法包括：从所有候选帧图像中查找出目标帧图像；从位姿确定基础数据中查找出目标帧图像的聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心；基于包括查找出的聚类中心的目标帧图像的压缩描述子、当前帧图像的局部描述子、目标帧图像对应的预设位姿，确定在捕获当前帧图像时待定位设备的相机的位姿。实现了将每一个候选帧图像的聚类中心序号序列、每一个聚类中心、每一个聚类中心的序号作为位姿确定基础数据，利用该位姿确定基础数据进行视觉定位，相比于直接存储每一个候选帧图像的局部描述子，极大地减少位姿确定基础数据占用的存储空间，降低视觉定位的成本。CN111563922ACN111563922A权利要求书1/2页1.一种视觉定位方法，其特征在于，所述方法包括：从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像；从位姿确定基础数据中查找出所述目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出所述聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心，位姿确定基础数据包括：多个聚类中心、每一个聚类中心的序号，其中，聚类中心通过对用于训练的图像的局部描述子中的同一位置的子向量进行聚类得到；生成所述目标帧图像的压缩描述子，所述目标帧图像的压缩描述子包括：所述每一个聚类中心序号各自所属的聚类中心；基于所述当前帧图像的局部描述子、目标帧图像的压缩描述子和目标帧图像对应的预设位姿，确定在捕获所述当前帧图像时待定位设备的相机的位姿。2.根据权利要求1所述的方法，其特征在于，用于训练的图像被预先在多个场景区域内捕获；所述方法还包括：对于每一个候选帧图像，确定所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心，其中，所述子向量对应的目标聚类中心为所述子向量对应的多个聚类中心中的与所述子向量的距离最小的聚类中心，所述子向量对应的多个聚类中心通过对用于训练的图像的局部描述子中的、与所述子向量位置相同的子向量进行聚类得到；对于每一个候选帧图像，生成所述候选帧图像的聚类中心序号序列，所述候选帧图像的聚类中心序号序列包括：所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心的序号。3.根据权利要求2所述的方法，其特征在于，所述多个场景区域包括至少一个所属的场景区域类型与其他的场景区域所属的场景区域类型不同的场景区域。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：对于每一个用于训练的图像，以预设划分方式将所述用于训练的图像划分为多个子向量；以预设聚类算法对用于训练的图像的局部描述子中的同一位置的子向量进行聚类，得到与所述同一位置的子向量相对应的多个聚类结果，其中，所述多个聚类结果中的每一个聚类结果各自具有一个聚类中心。5.根据权利要求1所述的方法，其特征在于，从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像包括：提取待定位设备的相机捕获的当前帧图像的全局描述子；计算当前帧图像的全局描述子与每一个候选帧图像的全局描述子的相似度；将具有的全局描述子与当前帧图像的全局描述子的相似度最大的候选帧图像确定为所述目标帧图像。6.根据权利要求1-5之一所述的方法，其特征在于，所述当前帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，所述候选帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，用于训练的图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint。2CN111563922A权利要求书2/2页7.一种视觉定位装置，其特征在于，所述装置包括：目标帧图像查找单元，被配置为从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像；聚类中心查找单元，被配置为从位姿确定基础数据中查找出所述目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出所述聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心，位姿确定基础数据包括：多个聚类中