一种基于无监督自适应网络的水下双目深度估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299130A(43)申请公布日2022.04.08(21)申请号202111589965.5G06V10/82(2022.01)(22)申请日2021.12.23G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人大连理工大学地址116024辽宁省大连市甘井子区凌工路２号(72)发明人叶昕辰原雅芝仲维徐睿樊鑫(74)专利代理机构辽宁鸿文知识产权代理有限公司21102代理人隋秀文(51)Int.Cl.G06T7/593(2017.01)G06T5/00(2006.01)G06K9/62(2022.01)G06V10/774(2022.01)权利要求书3页说明书7页附图1页(54)发明名称一种基于无监督自适应网络的水下双目深度估计方法(57)摘要本发明公开一种基于无监督自适应网络的水下双目深度估计方法，属于图像处理与计算机立体视觉领域。本发明包括表观层的风格自适应子模块与语义层的特征自适应子模块。首先，本发明利用风格自适应子模块生成水下仿真数据，缓解水下真实环境标签数据匮乏的问题；同时将特征自适应子模块应用于深度估计骨干网络的训练，以克服仿真数据与真实水下数据之间域差异过大，无法直接迁移陆地场景深度估计模型的困难。通过将本发明所提出的自适应模块集成到现有的深度估计网络中，能够实现从水下数据的表观层到语义层的逐步自适应效果，进而从真实水下立体图像中推断高精度视差图。实验结果表明，与其他水下深度估计方法相比，本发明所提方法具有更好的性能。CN114299130ACN114299130A权利要求书1/3页1.一种基于无监督自适应网络的水下双目深度估计方法，其特征在于，包括如下步骤：1)准备初始数据初始数据为陆上标注数据集，包括用来进行训练的陆上彩色图和对应的深度图；针对实际水下环境使用水下真实彩色图像进行无监督深度估计网络的训练和测试；2)风格自适应子模块的构建2‑1)风格转化子网络基于AdaIN构建，由编码器E和生成器G级联组成，将陆上图像的内容信息结合水下图像的风格特征，生成水下仿真数据；编码器E基于VGG19结构构建，以陆上图像与水下真实图像作为网络的输入数据，经过编码得到的特征图经过重组后送入生成器G中；生成器G包含9层反卷积操作，将编码器E中来自不同尺度的特征图通过跳跃连接的方式，加入G中网络层作为补充语义信息，最终得到水下风格的仿真数据集；2‑2)构建无监督风格转化子网络的损失函数；为了得到符合水下真实场景特点的仿真数据，将风格转化子网络生成的仿真数据输入特征提取模块，该特征提取模块采用VGG19预训练模型，在不同的网络层分别提取高维感知特征图，包括内容特征和风格特征，构建内容和风格损失函数，使特征提取模块提取高维特征层生成的仿真数据在保持陆上内容信息的基础上更好的学习水下图像的色彩风格；利用扭转损失函数约束立体图像对的几何一致性，恢复单幅图像在风格迁移过程中可能造成的结构畸变；3)特征自适应子模块的构建3‑1)设计特征自适应子模块，以仿真水下数据与真实水下数据分别作为源域与目标域的输入数据，最终得到水下真实数据的深度估计结果；模块中采用集成学习的方式，通过设计加权的参数优化更新方法，使用结构相同的教师‑学生深度估计网络Nt，Ns，结构为Gwc‑Net，结合有标签源域数据监督训练的模型Ωs，加强模型Ωt对无标签目标域数据预测的纠错能力，得到水下双目深度估计模型；3‑2)构建无监督深度估计子网络的损失函数；首先输入风格转化网络生成的仿真左右图像对，以陆上图像的深度图作为监督信号，利用监督损失函数不断优化学生立体匹配网络模型；同时，水下真实数据将同时输入学生与教师网络，利用不同网络间预测结果的一致性损失优化网络模型；并基于以上监督损失和一致性损失，在特征自适应子模块构建无监督深度估计子网络的总损失函数；4)基于步骤2)和步骤3)对风格转化和立体匹配子网络进行训练首先，利用陆上数据及水下真实数据，基于感知损失对风格迁移子网络进行训练，感知损失包括内容损失Lc和风格损失Ls；在训练模型收敛后加入扭转损失函数Lw继续进行少量迭代次数的训练，最终获得有标签仿真水下数据；然后，基于Lsup利用风格转化子网络得到的仿真水下标注数据集监督地预训练立体匹配学生子网络；最后，将水下真实数据同时输入学生网络Ns和教师网络Nt，利用无监督自适应学习方式更新网络参数，缩小深度估计子网络在语义特征层上的域间差异。2.如权利要求1所述的基于无监督自适应网络的水下双目深度估计方法，其特征在于，风格自适应子模块的构建，包括如下步骤：2‑1)风格转化子网络构建2CN114299130A权利要求书2/3页基于AdaIN方法，结合高维特征的感知约束，在