基于深度全景拼接的港口大型设备检测与识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113673478A(43)申请公布日2021.11.19(21)申请号202111028990.6(22)申请日2021.09.02(71)申请人福州视驰科技有限公司地址350002福建省福州市鼓楼区洪山镇西洪397号203室(72)发明人江磊(74)专利代理机构福州元创专利商标代理有限公司35100代理人丘鸿超蔡学俊(51)Int.Cl.G06K9/00(2006.01)G06T3/40(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图3页(54)发明名称基于深度全景拼接的港口大型设备检测与识别方法(57)摘要本发明提出一种基于深度全景拼接的港口大型设备检测与识别方法，通过获取港口园区内多个路杆摄像头对同一设备在不同角度下拍摄的局部图像；将多个局部图像堆叠输入至深度全景拼接网络生成全景图像数据集；对新数据集的类别及位置信息进行特征编码并输入至目标检测与识别训练网络；将训练后的目标检测与识别模型用于港口园区内大型设备的预测。本发明有效的利用了局部和全局图像中的目标信息，能够实现对大型设备的精准预测，从而提升港口园区的作业效率。CN113673478ACN113673478A权利要求书1/3页1.一种基于深度全景拼接的港口大型设备检测与识别方法，其特征在于：采用大型设备的全景拼接图像生成网络和检测识别网络进行检测和识别；所述大型设备的全景拼接图像生成网络和检测识别网络的构建过程包括以下步骤：步骤S1：获取N个路杆摄像头在不同角度下对大型设备拍摄到的局部图像I1，I2，…，IN作为图像集；步骤S2：对所述图像集进行整理分类制作数据集，并创建真实的全景拼接图像P以及相应的图像掩膜M；步骤S3：构建用于生成大型设备全景拼接图像的深度神经网络；步骤S4：将原始的局部图像I1，I2，…，IN的堆叠矩阵输入到步骤S3构造的网络中进行训练并预测，得到全景拼接图像P′；步骤S5：提取全景拼接图像P′中目标的位置及类别信息，进行特征编码；步骤S6：构建用于检测识别大型设备的深度神经网络；步骤S7：将拼接后的全景图像P′与标签一并输入至S6构造的网络中进行训练并保存训练模型；将待预测图像输入至训练后的模型进行预测，得到大型设备相应的检测与识别结果。2.根据权利要求1基于深度全景拼接的港口大型设备检测与识别方法，其特征在于：步骤S1所使用的图像集来源于多个路杆摄像头对港口园区内大型设备不同角度采集的局部图像。3.根据权利要求1基于深度全景拼接的港口大型设备检测与识别方法，其特征在于：步骤S2通过联合N个不同角度的图像创建真实的全景拼接图像P以及相应的图像掩膜M，经处理后的数据集用于训练生成大型设备全景拼接图像的深度神经网络。4.根据权利要求1基于深度全景拼接的港口大型设备检测与识别方法，其特征在于：步骤S3具体包括以下步骤：步骤S31：预测图像之间的几何变换关系并生成全景拼接图像掩膜M′，以真实的全景拼接图像掩膜M为优化目标，利用卷积神经网络构造编码器‑解码器；步骤S32：构造损失函数，由真实与预测的图像掩膜间的像素差值平方和来确定，经生成器训练优化后，得到预测的全景拼接图像掩膜M′；步骤S33：生成预测的全景拼接图像，构建形如U‑Net结构的神经网络编码器‑解码器；步骤S34：从像素和语义层面构造全景图像拼接的损失函数用于训练网络，并将局部图像I1，I2，…，IN与预测图像掩膜M′的堆叠矩阵输入步骤S33构造的网络中，得到预测的大型设备全景拼接图像P′。5.根据权利要求4基于深度全景拼接的港口大型设备检测与识别方法，其特征在于：步骤S31具体为：构建的编码器‑解码器采用VGG16作为标准网络用于直接预测相似的局部图像间的几何关系；该网络共有11个卷积层，其中编码器部分有5层，解码器部分有6层；第1至10层的卷积层采用带泄露修正线性单元LeakyRelu作为激活函数；第11层采用Sigmoid作为激活函数；步骤S32具体为：采用真实图像掩膜M和预测的图像掩膜M′之间的像素差值平方和作为损失函数，如下所示：2LM‑pixel＝(Mpixel‑M′pixel)2CN113673478A权利要求书2/3页其中，Mpixel表示真实图像掩膜的像素，M′pixel表示预测图像掩膜的像素；步骤S33具体为：构建的编码器‑解码器采用VGG16作为标准网络，包含11个卷积层以及5个上采样操作；除最后一层采用Sigmoid作为激活函数以外，其余卷积层均采用修正线性单元Relu作为激活函数；步骤S34具体为：采用包含像素损失函数以及语义感知损失函数作为全景图像拼接的修正损失；像素损失侧重预测图像与真实图像间的像素级差异，如下所不