一种无监督单视图船舶深度估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114332186A(43)申请公布日2022.04.12(21)申请号202111672271.8(22)申请日2021.12.31(71)申请人上海海事大学地址201306上海市浦东新区海港大道1550号申请人中国人民解放军海军大连舰艇学院(72)发明人刘涛贾梓金鑫(74)专利代理机构太原申立德知识产权代理事务所(特殊普通合伙)14115代理人郭海燕(51)Int.Cl.G06T7/50(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图4页(54)发明名称一种无监督单视图船舶深度估计方法(57)摘要本发明涉及一种船舶深度估计方法，针对其他深度估计方法存在的缺陷，公开了一种无监督单视图船舶深度估计方法。本发明首先搭建了一个知识蒸馏网络框架，在框架下使用高性能的教师网络对低参数量的学生网络进行训练，提高学生网络的深度估计性能，获得低参数量和高性能的深度估计网络；然后，通过渲染软件和船舶3D模型构造船舶数据集；最后，在船舶数据集上对模型进行训练并测试，获得可以对船舶进行无监督单视图深度估计的网络模型。通过本发明的模型和方法首次完成基于单视图的船舶深度估计，训练过程不需要真实深度数据和复杂的图像标注，而且具有较小规模模型参数量。CN114332186ACN114332186A权利要求书1/2页1.一种无监督单视图船舶深度估计模型，其特征在于，所述模型包括：教师网络深度估计模块、学生网络深度估计模块、LightNet网络、ViewNet网络、AlbedoNet网络、SDNet网络；其中，教师网络深度估计模块包括作编码器结构的ResNet网络、用于多维度特征处理的自适应密集特征融合结构以及作解码器结构的拉普拉斯金字塔结构；学生网络深度估计模块包括作编码器结构的GhostNet网络和作解码器结构的NNConv5结构。2.根据权利要求1所述的一种无监督单视图船舶深度估计模型，其特征在于：所述学生网络深度估计模块的NNConv5结构由五层网络组成，每层由一个Depthwise层、一个Pointwise层、一个上采样层组成；Depthwise层和Pointwise层会逐层恢复深度信息，上采样层在Depthwise层和Pointwise层后执行插值运算，使图的空间分辨率翻倍。3.一种基于权利要求1或2任一项所述估计模型的无监督单视图船舶深度估计方法，其特征在于，包括以下步骤：无监督单视图船舶深度估计模型的建立；无监督单视图船舶深度估计知识蒸馏网络框架的建立；构建船舶深度估计数据集；无监督单视图船舶深度估计模型的训练；无监督单视图船舶深度估计模型的测试。4.根据权利要求3所述的一种无监督单视图船舶深度估计方法，其特征在于，所述无监督单视图船舶深度估计模型包括教师网络深度估计模块、学生网络深度估计模块、LightNet网络、ViewNet网络、AlbedoNet网络、SDNet网络；其中，教师网络深度估计模块建立的过程为：使用高性能的ResNet网络作为编码器结构，使用自适应密集特征融合结构对多个维度的特征进行处理，最后使用拉普拉斯金字塔结构作为模块的解码器结构；学生网络深度估计模块建立的过程为：使用GhostNet网络作为编码器结构，使用添加Depthwise和Pointwise结构的NNConv5结构作为深度估计模块的解码器结构；LightNet网络、ViewNet网络、AlbedoNet网络、SDNet网络分别用于提取图像的光照信息、视角信息、反照度图和对称信息图。5.根据权利要求3所述的一种无监督单视图船舶深度估计方法，其特征在于，所述无监督单视图船舶深度估计知识蒸馏网络框架建立的具体过程为：首先，将单张RGB图像输入教师网络深度估计模块和LightNet网络、ViewNet网络、AlbedoNet网络、SDNet网络分别提取图像的深度图、光照信息、视角信息、反照度图和对称信息图；然后，将提取的光照信息和深度图通过渲染获得着色深度图；合成着色深度图、反照度图获得规范视角图，并通过正向渲染规范视角图、深度图、视角信息获得重建的RGB图像；基于输入的图像，构建重建图像的重建损失，以此回归教师网络模型的参数；最后，将教师网络深度估计模块替换为学生网络深度估计模块，构建重建损失的同时，构建相同图像输入时教师网络深度估计模块和学生网络深度估计模块的多维度对应特征图损失，通过两个损失的联合优化，轻量型学生网络获得接近于教师网络的性能。2CN114332186A权利要求书2/2页6.根据权利要求3所述的一种无监督单视图船舶深度估计方法，其特征在于，所述船舶深度估计数据集构建的具体过程为：创建3D船舶模型，使用Key