使用合成图像训练对象检测算法的方法和系统和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110022470A(43)申请公布日2019.07.16(21)申请号201811515330.9G06K9/62(2006.01)(22)申请日2018.12.12(30)优先权数据15/839,2472017.12.12US(71)申请人精工爱普生株式会社地址日本东京都(72)发明人I·莫拉维奇王洁S·A·胡大(74)专利代理机构北京三友知识产权代理有限公司11127代理人黄纶伟李辉(51)Int.Cl.H04N13/275(2018.01)H04N13/332(2018.01)H04N13/327(2018.01)H04N13/366(2018.01)权利要求书3页说明书11页附图6页(54)发明名称使用合成图像训练对象检测算法的方法和系统和存储介质(57)摘要使用合成图像训练对象检测算法的方法和系统和存储介质。一种非暂时计算机可读介质，其实施使得一个或更多个处理器执行方法的指令。该方法包括以下步骤：(A)接收对于在一个或更多个存储器中存储的3D模型的选择，3D模型对应于对象；以及(B)设置检测真实场景中的对象的姿态时使用的摄像头的摄像头参数集。方法还包括以下步骤：(C)接收表示视图范围的数据的选择；(D)通过渲染视图范围内的3D模型，基于摄像头参数集生成至少一个2D合成图像；(E)使用该至少一个2D合成图像生成训练数据以训练对象检测算法；以及(F)将所生成的训练数据存储在一个或更多个存储器中。CN110022470ACN110022470A权利要求书1/3页1.一种使用合成图像训练对象检测算法的方法，该方法包括以下步骤：(A)接收对于在一个或更多个存储器中存储的3D模型的选择，该3D模型对应于对象；(B)通过以下处理设置检测真实场景中的所述对象的姿态时使用的摄像头的摄像头参数集：接收标识包括所述摄像头的对象检测装置的信息，至少部分基于标识所述对象检测装置的所述信息，从一个或更多个存储器中存储的多个所述摄像头参数集获取用于所述对象检测装置的所述摄像头参数集，其中，所述多个摄像头参数集中的各摄像头参数集在所述一个或更多个存储器中与多个不同对象检测装置中的至少一个对象检测装置关联；(C)通过渲染视图范围内的所述3D模型，至少基于所述摄像头参数集生成至少一个2D合成图像；(D)使用所述至少一个2D合成图像生成训练数据以训练对象检测算法；以及(E)将所生成的训练数据存储在一个或更多个存储器中。2.根据权利要求1所述的方法，其中，所述对象检测装置是包括所述摄像头的头戴式显示装置。3.根据权利要求1所述的方法，其中，(B)步骤包括：设置检测真实场景中的所述对象的姿态时使用的多个摄像头的多个摄像头参数集：(C)步骤包括：通过渲染所述视图范围内的所述3D模型，至少基于所述各摄像头参数集生成多个2D合成图像；以及(D)步骤包括：使用所述多个2D合成图像生成训练数据以训练具有所述多个摄像头的多个对象检测装置的对象检测算法。4.根据权利要求1所述的方法，所述方法还包括在(C)之前接收表示所述视图范围的数据的选择。5.根据权利要求1所述的方法，其中，(E)步骤包括向所述对象检测装置输出所生成的训练数据，以存储在所述对象检测装置的一个或更多个存储器中并由所述对象检测装置用于在由所述摄像头拍摄的图像帧中检测所述对象。6.根据权利要求1所述的方法，其中，(D)步骤包括使用所述至少一个2D合成图像生成外观模板和形状模板中的至少一者。7.根据权利要求1所述的方法，其中，所述视图范围包括涵盖360度以下的方位角和仰角的预定视图范围。8.一种使用合成图像训练对象检测算法的方法，该方法包括以下步骤：(A)接收对于在一个或更多个存储器中存储的3D模型的选择，该3D模型对应于对象；(B)通过以下处理设置检测真实场景中的所述对象的姿态时使用的摄像头的摄像头参数集：当所述一个或更多个处理器能够通过数据连接访问具有所述摄像头的对象检测装置时，通过所述数据连接从所述对象检测装置获取所述摄像头参数集；(C)通过渲染视图范围内的所述3D模型，至少基于所述摄像头参数集生成至少一个2D合成图像；(D)使用所述至少一个2D合成图像生成训练数据以训练对象检测算法；以及2CN110022470A权利要求书2/3页(E)将所生成的训练数据存储在一个或更多个存储器中。9.根据权利要求8所述的方法，其中，所述对象检测装置是包括所述摄像头的头戴式显示装置。10.根据权利要求8所述的方法，其中，(B)步骤包括：设置检测真实场景中的所述对象的姿态时使用的多个摄像头的多个摄像头参数集：(C)步骤包括：通过渲染所述视图范围内的所述3D模型，至少基于各摄像头参数集生成多个2D合成图像；以及(D)步骤包括：使用所述多个2D合成