车间物料识别追踪与定位方法、系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972421A(43)申请公布日2022.08.30(21)申请号202210451730.8G06V10/82(2022.01)(22)申请日2022.04.27G06V20/40(2022.01)G06V20/52(2022.01)(71)申请人中南大学G06V20/70(2022.01)地址410083湖南省长沙市岳麓区麓山南G06N3/04(2006.01)路932号G06N3/08(2006.01)(72)发明人谭建平冯玮耀桑艳伟(74)专利代理机构长沙市融智专利事务所(普通合伙)43114专利代理师胡喜舟(51)Int.Cl.G06T7/246(2017.01)G06T7/70(2017.01)G06T7/50(2017.01)G06T7/80(2017.01)G06V10/24(2022.01)权利要求书2页说明书9页附图6页(54)发明名称车间物料识别追踪与定位方法、系统(57)摘要本发明公开了一种车间物料识别追踪与定位方法、系统，其中方法包括：获取车间各监控实时视频流；基于各监控实时视频流的实时帧进行物料检测，得到对应物料的物料信息；根据对应物料的物料信息进行多目标跟踪，为每个跟踪的物料标识唯一ID；计算每个目标物料在世界坐标系下的空间坐标位置；若多个监控检测到相同位置的同一物料，将其标识为相同ID；若物料在相邻的两个监控检测中发生切换，在未超过切换时间阈值下判断当前监控里的物料和上一监控里的物料是否为同一物料，若是则设置相同的ID；实时将得到的各物料对应的物料信息及空间坐标位置进行保存。利用现有监控系统，无需增加额外硬件，即可完成对车间物料的识别追踪和定位。CN114972421ACN114972421A权利要求书1/2页1.一种车间物料识别追踪与定位方法，其特征在于，包括：获取车间各监控实时视频流；基于各监控实时视频流的实时帧进行物料检测，得到对应物料的物料信息；根据对应物料的物料信息进行多目标跟踪，为每个跟踪的物料标识唯一ID；结合深度计算模型和空间坐标转换，得到每个目标物料在世界坐标系下的空间坐标位置；若多个监控检测到相同位置的同一物料，将其标识为相同ID；若物料在相邻的两个监控检测中发生切换，在未超过切换时间阈值下判断当前监控里的物料和上一监控里的物料是否为同一物料，若是则设置相同的ID；实时将得到的各物料对应的物料信息及空间坐标位置进行保存。2.根据权利要求1所述的车间物料识别追踪与定位方法，其特征在于，获取车间各监控实时视频流之后，还包括：利用各监控相机的内外参数和畸变系数，对各监控实时视频流的每帧进行图像畸变矫正，得到各监控矫正后的实时视频流。3.根据权利要求1所述的车间物料识别追踪与定位方法，其特征在于，通过预先训练的深度物料检测模型对实时帧中的物料进行检测识别，得到对应物料的物料信息。4.根据权利要求1所述的车间物料识别追踪与定位方法，其特征在于，通过预先训练的基于深度卷积神经网络的物料跟踪模型对检测出的物料进行跟踪和ID标识；深度卷积神经网络用于对检测出的物料进行特征提取，完成重识别，避免同一物料因短暂遮挡后再次出现时发生ID切换。5.根据权利要求1所述的车间物料识别追踪与定位方法，其特征在于，所述结合深度计算模型和空间坐标转换，得到每个目标物料在世界坐标系下的空间坐标位置，包括：基于相机成像相似三角形原理结合物料形状建立单目视觉深度计算模型，得到物料在相机坐标系下的深度Zc；根据成像获取的物料二维坐标信息通过仿射变换和透视变换，完成从像素坐标系到图像图标系、再到相机坐标系的转换，得到物料的相机坐标系(Xc,Yc,Zc)；通过刚体变换完成相机坐标系到世界坐标系的转换，得到物料的世界坐标系(Xw,Yw,Zw)。6.根据权利要求1至5任一项所述的车间物料识别追踪与定位方法，其特征在于，所述若多个监控检测到相同位置的同一物料，将其标识为相同ID，包括：首先通过检测得到的物料信息判断多个监控检测到的物料是否属于同种类物料；若是，分别以多个监控检测到的物料的世界坐标为球心，以预设半径R划分球形区域；将任意两个监控检测下所建立的球形区域进行提取IOU计算，若IOU超过阈值，则判断多个监控检测到的物料是同一物料，并标识为相同的ID。7.根据权利要求1至5任一项所述的车间物料识别追踪与定位方法，其特征在于，所述若物料在相邻的两个监控检测中发生切换，在未超过切换时间阈值下判断当前监控里的物料和上一监控里的物料是否为同一物料，若是则设置相同的ID；包括：若物料在相邻两个监控检测中发生切换，在时间T内未被其他任何监控检测到，且T小于切换时间阈值Tmax,利用移动目标轨迹预测方法根据上一监控的物料位置和姿态预测经2CN114972421A权利