确定可移动的设备的位置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110770758A(43)申请公布日2020.02.07(21)申请号201880020559.7(74)专利代理机构广州华进联合专利商标代理有限公司(22)申请日2018.01.1744224代理人何冲黄隶凡(30)优先权数据1703006.52017.02.24GB(51)Int.Cl.201701000232017.01.23GRG06N3/04(2006.01)G06N3/08(2006.01)(85)PCT国际申请进入国家阶段日G06T7/20(2017.01)2019.09.23G06T7/70(2017.01)(86)PCT国际申请的申请数据PCT/GB2018/0501322018.01.17(87)PCT国际申请的公布数据WO2018/134587EN2018.07.26(71)申请人牛津大学创新有限公司地址英国牛津郡(72)发明人罗纳德·克拉克王森尼基·特里戈尼权利要求书3页说明书8页附图4页(54)发明名称确定可移动的设备的位置(57)摘要一种确定包括摄像头和至少一个惯性传感器的可移动的设备的位置的计算机执行的方法。在一段时间内捕获图像序列，并且第一神经网络从连续图像对确定表明设备的运动的特征。捕获表明设备的运动的数据，并且第二神经网络从数据确定表明设备的运动的特征。然后，第三神经网络从由第一神经网络确定的特征和第二神经网络确定的特征确定表明设备的位置的特征。设备的位置是从由第三神经网络确定的特征确定的。CN110770758ACN110770758A权利要求书1/3页1.一种确定包括摄像头和至少一个惯性传感器的可移动的设备的位置的计算机执行的方法，包括以下步骤：使用所述摄像头捕获一段时间内的图像序列；对于来自所述图像序列的连续图像对，使用第一神经网络确定表明所述设备的运动的特征，所述设备的运动在捕获所述图像对的第一图像的时间与捕获所述图像对的第二图像的时间之间；使用所述至少一个惯性传感器捕获表明所述设备的运动的数据；使用第二神经网络从来自所述至少一个惯性传感器的表明所述设备的运动的数据确定表明所述设备的运动的特征；对于连续图像序列，使用第三神经网络从由所述第一神经网络确定的特征和由所述第二神经网络确定的特征确定表明所述设备的位置的特征；以及对于连续图像序列，从由所述第三神经网络确定的特征确定所述设备的位置。2.根据权利要求1所述的方法，其特征在于，除了确定所述设备的位置之外还确定所述设备的方向。3.根据权利要求1或2所述的方法，其特征在于，所述图像序列的图像是单目图像。4.根据前述任一权利要求所述的方法，其特征在于，所述至少一个惯性传感器包括加速度计和/或陀螺仪。5.根据前述任一权利要求所述的方法，其特征在于，所述第一神经网络是卷积神经网络。6.根据前述任一权利要求所述的方法，其特征在于，所述第二神经网络是递归神经网络。7.根据权利要求6所述的方法，其特征在于，所述第二神经网络是长短期记忆神经网络。8.根据前述任一权利要求所述的方法，其特征在于，所述第三神经网络是递归神经网络。9.根据权利要求8所述的方法，其特征在于，所述第三神经网络是长短期记忆神经网络。10.根据前述任一权利要求所述的方法，其特征在于，还包括以下步骤：针对每对连续捕获的图像，从由所述第二神经网络确定的特征确定所述设备的相对位置信息和方向信息。11.根据权利要求10所述的方法，其特征在于，所述确定所述设备的位置的步骤包括：整合从由所述第三神经网络确定的特征确定的所述相对位置信息和所述方向信息。12.根据权利要求10或11所述的方法，其特征在于，还包括：针对每对连续捕获的图像，确定所述相对位置信息和所述方向信息的相应不确定性信息。13.根据前述任一权利要求所述的方法，其特征在于，所述图像序列的每个图像已经与其相应的位置信息相关联，并且所述方法还包括以下步骤：使用所述相应的位置信息训练所述第一神经网络、所述第二神经网络和所述第三神经网络。14.根据前述任一权利要求所述的方法，其特征在于，还包括以下步骤：训练所述第一神经网络、所述第二神经网络和所述第三神经网络以最大化由所述第一神经网络确定的特2CN110770758A权利要求书2/3页征和由所述第二神经网络确定的特征之间的相关性。15.根据前述任一权利要求所述的方法，其特征在于，所述设备是自主机器人。16.一种可移动的设备，其特征在于，包括：存储器；处理器；摄像头；至少一个惯性传感器；其中所述设备被布置为：使用摄像头捕获一段时间内的图像序列；使用由所述处理器提供的第一神经网络从来自所述图像序列的连续图像对确定表明所述设备的运动的特征，所述设备的运动在捕获所述图像对的第一图像的时间与捕获所述图像对的第二图像的时间之