一种6D位姿估计数据集制作方法、装置、终端及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114155345A(43)申请公布日2022.03.08(21)申请号202111468976.8(22)申请日2021.12.03(71)申请人南方电网电力科技股份有限公司地址510000广东省广州市越秀区西华路捶帽新街1-3号华业大厦附楼501-503室(72)发明人张晓晔吴勇郑培文陈禹明王杨杨英仪雷霆(74)专利代理机构北京集佳知识产权代理有限公司11227代理人李秋梅(51)Int.Cl.G06T17/00(2006.01)G06K9/62(2022.01)G06V10/75(2022.01)权利要求书2页说明书7页附图2页(54)发明名称一种6D位姿估计数据集制作方法、装置、终端及介质(57)摘要本申请公开了一种6D位姿估计数据集制作方法、装置、终端及介质，本申请提供的方案通过目标物体的三维模型数据，基于Blender搭建三维空间，在三维空间中加载三维模型数据，得到三维模型，基于Blender集成的物理引擎，模拟三维模型的自由落体过程，并在自由落体过程中，对三维模型中的采样点进行采样，以基于得到的采样点的坐标信息，确定三维模型的位姿参数，保证目标物体外观材质、光照条件、物体6D位姿等参数的多样性，再基于三维模型、位姿标注信息与背景图像进行图像合成，得到目标物体的合成数据样本，以便利用得到的合成数据样本汇总成该目标物体的6D位姿估计数据集，解决了现有技术6D位姿估计数据集制作存在制作效率低的技术问题。CN114155345ACN114155345A权利要求书1/2页1.一种6D位姿估计数据集制作方法，其特征在于，包括：获取目标物体的三维模型数据；基于Blender搭建三维空间，并结合随机生成的模型加载参数，在所述三维空间中加载所述三维模型数据，得到三维模型，其中所述模型加载参数包括：材质参数、点光源配置参数；基于所述Blender集成的物理引擎，模拟所述三维模型的自由落体过程，并在所述自由落体过程中，对所述三维模型中的采样点进行采样，以基于得到的所述采样点的坐标信息，确定所述三维模型的位姿参数；基于所述三维模型、位姿标注信息与背景图像进行图像合成，得到所述目标物体的合成数据样本，以便利用得到的合成数据样本进行汇总，形成所述目标物体的6D位姿估计数据集，其中，所述位姿标注信息为基于所述位姿参数生成的。2.根据权利要求1所述的一种6D位姿估计数据集制作方法，其特征在于，所述三维模型数据的获取过程具体包括：通过三维扫描仪扫描的方式，获取目标物体的三维点云数据；对所述三维点云数据进行坐标对齐处理，得到所述目标物体的三维模型数据。3.根据权利要求1所述的一种6D位姿估计数据集制作方法，其特征在于，还包括：获取所述目标物体的视频图像数据；基于所述视频图像数据，提取所述目标物体的真实位姿信息，并基于所述真实位姿信息与所述视频图像数据生成真实数据样本，以便将所述真实数据样本添加到所述目标物体的6D位姿估计数据集。4.根据权利要求3所述的一种6D位姿估计数据集制作方法，其特征在于，所述基于所述视频图像数据，提取所述目标物体的真实位姿信息具体包括：获取所述目标物体的视频序列，所述视频序列为通过RGB‑D相机拍摄得到的，且所述视频序列中的帧图像均包含有所述目标物体以及多个Aruco标识；生成并记录第一齐次变换矩阵，其中所述第一齐次变换矩阵为各个所述帧图像中Aruco标识与所述RGB‑D相机间的齐次变换矩阵；基于所述视频序列的帧图像进行三维数据重建，得到相机采集场景的三维点云数据；基于所述相机采集场景的三维点云数据，通过PPF三维点云匹配算法，得到第二齐次变换矩阵，其中，所述第二齐次变换矩阵具体为Aruco标识与所述目标物体间的齐次变换矩阵；将所述第一齐次变换矩阵与所述第二齐次变换矩阵相乘，得到所述目标物体的真实位姿信息。5.根据权利要求3所述的一种6D位姿估计数据集制作方法，其特征在于，所述基于所述视频图像数据，提取所述目标物体的真实位姿信息具体包括：获取所述目标物体的图像数据，并从所述图像数据中筛选出多个所述目标物体的特征点；根据所述图像数据中的特征点，匹配所述三维模型中相同部位的特征点；基于所述图像数据以及所述三维模型中相互匹配的特征点，结合PnP算法的运算，得到所述目标物体的真实位姿信息。2CN114155345A权利要求书2/2页6.根据权利要求1所述的一种6D位姿估计数据集制作方法，其特征在于，在所述自由落体过程中，对所述三维模型中的采样点进行采样，以基于得到的所述采样点的坐标信息，确定所述三维模型的位姿参数具体包括：在所述自由落体过程中，通过球面采样处理方式，对所述三维模型中的采样点进行采样，以基于得到的所述采样点的坐标信息，确定所述三维模型的位姿参