一种基于单目相机的三维目标定位方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113724335A(43)申请公布日2021.11.30(21)申请号202110877753.0(22)申请日2021.08.01(71)申请人国网江苏省电力有限公司徐州供电分公司地址221005江苏省徐州市解放北路20号(72)发明人王晨麟须英伦徐沛平张鹏汤涛刘纪畅(74)专利代理机构长沙睿翔专利代理事务所(普通合伙)43237代理人周松华孙建霞(51)Int.Cl.G06T7/80(2017.01)G06K9/46(2006.01)G06K9/34(2006.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于单目相机的三维目标定位方法及系统(57)摘要本发明公开了一种基于单目相机的三维目标定位方法及系统。方法包括S1、对目标作业场景进行预先重建，以形成目标作业场景的三维点云模型；S2、通过监控相机所拍摄的实时画面，将监控相机配准到步骤S1中的三维点云模型中以获得监控相机相对于三维点云模型的位置和姿态，将场景的三维点云投影到当前监控相机的图像上，获得单目监控相机所感知的场景深度图；S3、对移动目标的2D包围盒进行检测，判断移动目标与场景的接触位置，使用接触位置的深度推断移动目标的3D包围盒，通过移动目标的3D包围盒和场景中危险物体的3D包围盒判断移动目标是否处于安全距离，若大于安全阀值则触发警报。本发明无需进行机器学习算法的训练，可以广泛应用于各类作业场景。CN113724335ACN113724335A权利要求书1/2页1.一种基于单目相机的三维目标定位方法，其特征在于，包括以下步骤：S1、对目标作业场景进行预先重建，以形成目标作业场景的三维点云模型；S2、通过监控相机所拍摄的实时画面，将监控相机配准到步骤S1中的三维点云模型中以获得监控相机相对于三维点云模型的位置和姿态，将场景的三维点云投影到当前监控相机的图像上，获得单目监控相机所感知的场景深度图；S3、对移动目标的2D包围盒进行检测，判断移动目标与场景的接触位置，使用接触位置的深度推断移动目标的3D包围盒，通过移动目标的3D包围盒和场景中危险物体的3D包围盒判断移动目标是否处于安全距离，若大于安全阀值则触发警报。2.根据权利要求1所述的基于单目相机的三维目标定位方法，其特征在于，所述步骤S1具体包括以下步骤：S10、使用相机进行各个角度的图像数据的捕捉，对拍摄获取的视频流进行关键帧的提取，获得关键图像帧K＝(K1，K2，K3，...}；S11、对每一关键图像帧进行SIFT特征点提取，获得F＝{F1，F2，F3，...}，其中Fi为关键帧Ki所对应的特征点集，对关键图像帧间的特征点进行匹配，根据匹配结果，基于匹配特征点使用SFM方法进行稀疏三维重建和相机位姿的恢复，获取稀疏三维模型和每一图像所对应的相机参数信息；S12、结合相机参数信息，采用多视角立体方法，进行稠密重建，获得每一个相机视角下的图像的稠密深度图D＝(D1，D2，D3，...}，将多个视角下的稠密深度图进行深度融合，剔除视角间一致性小于设定值的三维点，获得作业场景的稠密三维点云模型P＝{p1，p2，p3，...}，其中pi∈P为三维点云模型中的任意三维点坐标；S13、将三维点云模型P＝{p1，p2，p3，...}通过点云语义分割方法分割出场景危险区域的点云数据，并计算包围盒B1，B2，B3...Bi。3.根据权利要求1所述的基于单目相机的三维目标定位方法，其特征在于，所述步骤S2具体包括以下步骤：S20、通过监控相机获取场景的实时画面，在某一时刻t下的拍摄画面为图像Jt，对图像Jt进行特征点的提取，并与重建场时的关键图像帧的特征点集合F＝{F1，F2，F2，...}进行匹配，根据是否找到匹配点，定位一组与当前监控画面Jt对应的具有交叠范围的源图片集并将其中最临近的源图片I的相机位姿作为当前单目监控相机在场景下的位姿；S21、针对图像Jt和源图像集执行捆绑调整操作，通过最小化重投影误差，优化图像Jt的位置ti和姿态Ri。4.根据权利要求1所述的基于单目相机的三维目标定位方法，其特征在于，所述步骤S3具体包括以下步骤：S30、根据基于图像的目标检测算法，定位移动目标的2D位置；S31、将接触点位置的平均深度作为移动目标的重心处的深度，并根据移动目标的先验知识，给出移动目标在作业场景下的三维包围盒A；S32、计算移动目标的三维包围盒A和场景某一危险区域的包围盒Bi的距离，通过计算两个包围盒的中心坐标的距离D，判断是否有包围盒距离小于规定的阈值L+M，若是则触发警报，其中L为移动目标包围盒的最长边，M为当前待判定的危险区域包围盒Bi的最长边。5.根据权利要求1所述的基于单目相机的三维目标定位方法，其特征在于，所述步骤S22