一种室内物体自动标识定位方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114137564A(43)申请公布日2022.03.04(21)申请号202111442569.X(22)申请日2021.11.30(71)申请人建科公共设施运营管理有限公司地址100120北京市西城区德胜门外大街36号楼16层1单元1601(72)发明人何为刘鹏梁晓旭王旭韩柏林(74)专利代理机构北京天达知识产权代理事务所(普通合伙)11386代理人牛洪瑜(51)Int.Cl.G01S17/86(2020.01)G06T7/73(2017.01)G06T7/80(2017.01)权利要求书3页说明书14页附图7页(54)发明名称一种室内物体自动标识定位方法和装置(57)摘要本发明涉及一种室内物体自动标识定位方法和装置，属于室内空间定位技术领域，解决了现有室内物体定位误差大且不能有效反映建筑信息的记录和变更的问题。该方法包括：对固定激光雷达和相机到多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数；对多线激光雷达进行定位以获得多线激光雷达在世界坐标系下的位姿；获取可见光图像和激光点云图并输入多模态目标识别模型以获得待识别目标在相机坐标系下的位置；基于外参数、多线激光雷达在世界坐标系下的位姿和待识别目标在相机坐标系下的位置获取待识别目标在世界坐标系下的位置；以及将待识别目标添加至建筑信息模型中。将目标添加至BIM中以有效反映建筑信息的记录和变更。CN114137564ACN114137564A权利要求书1/3页1.一种室内物体自动标识定位方法，其特征在于，包括：对固定激光雷达和相机到多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数，其中，便携式激光扫描仪包括所述多线激光雷达、所述固定激光雷达和所述相机；利用由所述便携式激光扫描仪获取的激光点集和图像点集对所述多线激光雷达进行定位以获得所述多线激光雷达在世界坐标系下的位姿；获取待识别目标的可见光图像和激光点云图并输入多模态目标识别模型以获得所述待识别目标在相机坐标系下的位置；基于所述相机局部坐标系到基础坐标中心的外参数、所述多线激光雷达在所述世界坐标系下的位姿和所述待识别目标在相机坐标系下的位置，获取所述待识别目标在所述世界坐标系下的位置；以及根据所述待识别目标在所述世界坐标系下的位置，将所述待识别目标添加至建筑信息模型中。2.根据权利要求1所述的室内物体自动标识定位方法，其特征在于，获取待识别目标的可见光图像和激光点云并输入多模态目标识别模型以获得所述待识别目标在相机坐标系下的位置进一步包括：建立深度学习神经网络，利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练以获得所述多模态目标识别模型；利用所述相机拍摄所述待识别目标的可见光图像并利用激光雷达扫描所述待识别目标的激光点云图，并将所述待识别目标的可见光图像和所述待识别目标的激光点云图输入所述多模态目标识别模型以获得所述待识别目标的种类和在所述相机坐标系下的位置。3.根据权利要求2所述的室内物体自动标识定位方法，其特征在于，建立深度学习神经网络包括：建立点云分支网络，所述点云分支网络采用第一特征提取器；建立图像分支网络，所述图像分支网络采用第二特征提取器，其中，多个融合模组网络连接在所述点云分支网络和所述图像分支网络之间，以多级别融合激光雷达特征和视觉语义特征。4.根据权利要求1所述的室内物体自动标识定位方法，其特征在于，对固定激光雷达和相机到所述多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数进一步包括：对所述多线激光雷达和所述相机进行联合标定以获得所述多线激光雷达相对于所述相机的旋转和平移；以及对所述多线激光雷达和所述固体激光雷达进行联合标定以计算所述多线激光雷达和所述固定激光雷达之间外参数。5.根据权利要求2所述的室内物体自动标识定位方法，其特征在于，对所述多线激光雷达和所述相机进行联合标定以获得所述多线激光雷达相对于所述相机的旋转和平移进一步包括通过：以下公式对相机内参数进行标定：2CN114137564A权利要求书2/3页其中，Zc为尺度参数；(Xw,Yw,Zw)为所述世界坐标系；(u,v)为像素坐标；相机坐标系以相机的光轴作为z轴，光线在相机的光学系统中心位置就是原点Oc，相机坐标系Xc，Yc分别与图像坐标系X，Y轴平行，相机坐标原点与图像坐标系的原点之间的距离f，即焦距，为相机内参数矩阵，利用张正友标定法求解所述相机内参数矩阵；为相机外参数矩阵；以及对所述多线激光雷达和所述相机进行外参数联合粗标定；以及对所述多线激光雷达和所述相机进行外参数联合精标定。6.根据权利要求4所述的室内物体自动标识定位方法，其特征在于，对所述多线激光雷达和所述固体激光雷达进