基于UWB模块、语义地图与视觉信息的定位方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115979250A(43)申请公布日2023.04.18(21)申请号202310266028.9(22)申请日2023.03.20(71)申请人山东上水环境科技集团有限公司地址250000山东省济南市天桥区历山北路19号山东黄台国际电子商务产业园1507室(72)发明人杜宏林李金屏马亮夏英杰闫子硕姜晓凤(74)专利代理机构西安泛想力专利代理事务所(普通合伙)61260专利代理师柳晶(51)Int.Cl.G01C21/00(2006.01)H04W64/00(2009.01)G01C21/20(2006.01)权利要求书2页说明书5页附图4页(54)发明名称基于UWB模块、语义地图与视觉信息的定位方法(57)摘要本发明属于图像处理领域，具体公开了一种基于UWB模块、语义地图与视觉信息的定位方法。包括以下步骤：步骤1，在游泳池场景安装布置UWB基站标签、双光谱摄像头；步骤2，通过UWB定位获得游泳池内人员的位置；步骤3，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置；步骤4，将UWB定位数据、可见光视频中人员位置、热成像视频中人员位置绑定，进行人员配对；步骤5，构建语义地图，每个人在2种模态下的位置在地图上实时显示。本发明通过对游泳池人员在UWB、可见光视频中的位置配对，准确获得人员位置，并在语义地图中实时显示，该方法利用人员位置的多模态信息，能够准确、高效地获得游泳池中人员位置。CN115979250ACN115979250A权利要求书1/2页1.基于UWB模块、语义地图与视觉信息的定位方法，其特征在于，包括以下步骤：步骤1，在游泳池场景安装布置UWB基站标签、双光谱摄像头；步骤2，通过UWB定位获得游泳池内人员的位置；步骤3，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置；步骤4，将UWB定位数据、可见光视频中人员位置、热成像视频中人员位置绑定，进行人员配对；步骤5，构建语义地图，人员在三种模态下的位置在地图上实时显示。2.根据权利要求1所述的基于UWB模块、语义地图与视觉信息的定位方法，其特征在于，在步骤1中，在游泳池场景安装布置UWB基站标签、双光谱摄像头的具体步骤如下：第一步：UWB模块包括基站与标签两类设备，用来对溺水目标进行实时定位与溺水判断；4个基站分别安置在游泳池2个长边的正上方，每侧各2个；第二步：可见光与远红外摄像头绑定在一起，数量为4个，分别安装在游泳池4个角的正上方。3.根据权利要求1所述的基于UWB模块、语义地图与视觉信息的定位方法，其特征在于，在步骤3中，通过UWB定位获得游泳池内人员的位置的具体步骤如下：第一步：以游泳池水平面为基准，选取其中一角为坐标原点，建立直角坐标系；第二步：计算4个基站相对坐标原点的位置（xb1,yb1,zb1）,（xb2,yb2,zb2）,（xb3,yb3,zb3）,（xb4,yb4,zb4）,获得人员定位位置（xu,yu,zu）；第三步：测试UWB定位的准确性、延时性，计算UWB定位的误差范围。4.根据权利要求1所述的基于UWB模块、语义地图与视觉信息的定位方法，其特征在于，在步骤3中，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置的具体步骤如下：第一步：双光谱摄像机固定之后，自采集游泳池内可见光视频，并对可见光视频切成图像；第二步：利用labelimg软件对图像中游泳人员采用标注全身的方式标注；第三步：利用YOLOv5对标注的图像训练，获得权值文件，应用于目标检测中；第四步：利用YOLOv5对可见光实时视频中人员检测，利用deepsort对人员跟踪，获得目标检测矩形框；第五步：计算目标矩形框的中心点；第六步：标注图像中游泳池的位置，计算透视变换矩阵；第七步：将目标矩形框的中心点做透视变换，获得人员在可见光视频下的位置。5.根据权利要求1所述的基于UWB模块、语义地图与视觉信息的定位方法，其特征在于，在步骤4中，将UWB定位数据、可见光视频中人员位置中人员位置绑定，进行人员配对的具体步骤如下：第一步：设置定时器，每隔1秒提取UWB定位信息、可见光视频中人的位置信息；第二步：分别计算UWB定位与可见光视频下人的角度、速度：设UWB中人员a与可见光视频中人员a’前1秒与当前时刻位置分别为（xu1，yu1）,（xu2，yu2）,（xp1，yp1），（xp2，yp2），则可见2CN115979250A权利要求书2/2页光视频中人员a’每秒角度与速度为其中，为人体移动的时间间隔，同理，UWB定位人员a每秒角度为，速度为；第三步：设置人员配对规则：若且，则a与a’配对，若在20s内配对结果保持一致，则a与a’配对成功；若在20s内配对结果不一致，则取配对结果中连续