估计位姿的方法、装置及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112330589A(43)申请公布日2021.02.05(21)申请号202010989038.1G06N3/04(2006.01)(22)申请日2020.09.18(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人张夏杰车广富郭景昊(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人姜雍许蓓(51)Int.Cl.G06T7/00(2017.01)G06T7/73(2017.01)G06N3/08(2006.01)权利要求书2页说明书8页附图3页(54)发明名称估计位姿的方法、装置及计算机可读存储介质(57)摘要本公开提供了一种估计位姿的方法、装置及计算机可读存储介质，涉及计算机技术领域。其中的估计位姿信息的方法包括：利用视觉里程计确定目标在当前图像中的第一位姿信息，当前图像为目标的图像序列中的关键帧；利用预先训练的关键点预测神经网络，确定目标在当前图像中的第二位姿信息；将第一位姿信息和第二位姿信息进行数据融合，获得目标在当前图像中的融合位姿信息。本公开将深度学习技术与视觉里程计技术进行了融合，既能够减小视觉里程计带来的累积估计误差，又能够缓解深度学习技术带来的估计位姿抖动，从而更加准确、稳定的估计目标在图像中的位姿信息。CN112330589ACN112330589A权利要求书1/2页1.一种估计位姿信息的方法，包括：利用视觉里程计确定目标在当前图像中的第一位姿信息，当前图像为目标的图像序列中的关键帧；利用预先训练的关键点预测神经网络，确定目标在当前图像中的第二位姿信息；将所述第一位姿信息和所述第二位姿信息进行数据融合，获得目标在当前图像中的融合位姿信息。2.根据权利要求1所述的方法，其中，所述利用视觉里程计确定目标在当前图像中的第一位姿信息包括：利用所述关键点预测神经网络处理初始图像，获得目标在初始图像中的初始位姿信息；从所述图像序列中获取目标的前景图像序列；利用视觉里程计对所述前景图像序列进行处理，获得目标在当前图像与初始图像之间的相对位姿信息；根据所述初始位姿信息和所述相对位姿信息，确定目标在当前图像中的第一位姿信息。3.根据权利要求2所述的方法，其中，所述从所述图像序列中获取目标的前景图像序列包括：将所述图像序列中的任一图像输入预先训练的目标预测神经网络，获得目标的边界区域在所述任一图像中的二维坐标集合；根据所述二维坐标集合，从所述任一图像中获取目标的前景图像；根据所述任一图像中目标的前景图像，确定目标的前景图像序列。4.根据权利要求1所述的方法，还包括：利用视觉里程计处理当前图像，获得目标在当前图像中的特征点坐标，作为第一特征点坐标；利用视觉里程计处理当前图像的上一关键帧，获得目标在所述上一关键帧中的特征点坐标，作为第二关键点坐标，其中，首个关键帧是所述图像序列中利用视觉里程计处理后获得特征点数量大于预设值的首张图像；在第一特征点坐标与第二特征点坐标之间的欧式距离大于预设值的情况下，确定当前图像为所述关键帧。5.根据权利要求4所述的方法，还包括：在第一特征点坐标与第二特征点坐标之间的欧式距离不大于预设值的情况下，确定当前图像不为所述关键帧；将所述第一位姿信息作为当前图像的位姿信息。6.根据权利要求1所述的方法，其中，所述将所述第一位姿信息和所述第二位姿信息进行数据融合，获得目标在当前图像中的融合位姿信息包括：利用第一位姿信息、第一位姿信息的权重、第二位姿信息、第二位姿信息的权重，加权计算目标在当前图像中的融合位姿信息，第一位姿信息的权重大于第二位姿信息的权重。7.根据权利要求1所述的方法，其中，所述利用预先训练的关键点预测神经网络，确定目标在当前图像中的第二位姿信息包括：利用所述关键点预测神经网络处理当前图像，获得目标在当前图像中的关键点坐标；2CN112330589A权利要求书2/2页利用透视N点算法处理目标在当前图像中的关键点坐标，获得目标在当前图像中的第二位姿信息。8.根据权利要求1至7任一项所述的方法，其中，所述关键点预测神经网络包括下采样子神经网络、全局特征提取子神经网络、特征融合子神经网络、热力图子神经网络以及部分亲和字段子神经网络。9.一种估计位姿信息的装置，包括：第一位姿信息确定模块，被配置为利用视觉里程计确定目标在当前图像中的第一位姿信息，当前图像为目标的图像序列中的关键帧；第二位姿信息确定模块，被配置为利用预先训练的关键点预测神经网络，确定目标在当前图像中的第二位姿信息；数据融合模块，被配置为将所述第一位姿信息和所述第二位姿信息进行数据融合，获得目标在当前图像中的融合位姿信息。10.