基于语义信息约束的水下图像相对深度估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113822919A(43)申请公布日2021.12.21(21)申请号202111399127.1(22)申请日2021.11.24(71)申请人中国海洋大学地址266100山东省青岛市崂山区松岭路238号(72)发明人李坤乾王西亚宋大雷刘文杰(74)专利代理机构北京市恒有知识产权代理事务所(普通合伙)11576代理人郭文浩尹文会(51)Int.Cl.G06T7/50(2017.01)G06N3/04(2006.01)G06K9/62(2006.01)权利要求书3页说明书12页附图3页(54)发明名称基于语义信息约束的水下图像相对深度估计方法(57)摘要本发明属于计算机视觉领域，具体涉及一种基于语义信息约束的水下图像相对深度估计方法、系统、设备，旨在解决现有的水下图像相对深度估计精度低以及边缘轮廓不明显的问题。本发明方法包括：获取待相对深度估计的单目水下图像，作为输入图像；通过训练好的相对深度图预测模型获取所述输入图像对应的预测深度图，进而得到水下场景的相对深度关系；所述相对深度图预测模型基于编码‑解码结构的深度卷积神经网络构建。本发明提高了水下图像相对深度的估计精度，并提升了深度估计边缘效果。CN113822919ACN113822919A权利要求书1/3页1.一种基于语义信息约束的水下图像相对深度估计方法，其特征在于，该方法包括：步骤S100，获取待相对深度估计的单目水下图像，作为输入图像；步骤S200，通过训练好的相对深度图预测模型获取所述输入图像对应的相对深度预测图，进而得到水下场景的相对深度关系；所述相对深度图预测模型基于编码‑解码结构的深度卷积神经网络构建，其训练方法为：步骤A100，获取带有语义标注的水下图像数据集；所述水下图像数据集中包括水下图像及其对应的语义图；所述水下图像为RGB图像；步骤A200，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图；对所述水下图像数据集中的语义图进行边缘提取、高斯平滑、数据归一化处理，得到语义边缘惩罚因子图；步骤A300，沿相对深度标注图的标注线进行超像素分割，得到超像素块；在各个超像素块中随机取点，并按照相邻像素块之间相对深度关系组成点对，作为第一类点对；提取水下图像的特征，获取设定语义之间的深度先验假设，并根据深度先验假设从不同语义区域中随机选取采样点，并按照相对深度关系组成点对，作为第二类点对；所述设定语义包括海水背景、海底和岩石以及鱼类语义；在相对深度标注图的标注线上取多个垂足点，计算过垂足点的垂线，并在每个垂足点所在的语义区域内截取各垂足点对应的垂线；随机选取同一标注线上的任意两条垂线，在垂线上取点，并按照相对深度关系随机组成点对，作为第三类点对；根据所述第一类点对、所述第二类点对、所述第三类点对，构建相对深度点对数据集；步骤A400，将基础深度图、语义边缘惩罚因子图、相对深度标注图输入相对深度图预测模型得到相对深度预测图；分别计算基础深度图与相对深度预测图、语义边缘惩罚因子图与相对深度预测图、相对深度点对数据集中的相对深度点对数据与相对深度预测图之间的损失，得到像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失；对像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失进行求和，作为总损失，更新相对深度图预测模型的网络参数；A500，循环执行步骤A400，直至得到训练好的相对深度图预测模型。2.根据权利要求1所述的基于语义信息约束的水下图像相对深度估计方法，其特征在于，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图，其方法为：将水下图像输入UW‑Net深度估计模型，经UW‑Net深度估计模型中的生成器生成单通道相对深度预测图，作为基础深度图；对水下图像中相对深度关系的变化趋势进行标注，得到相对深度标注图；其中，所述相对深度标注图中的相对深度关系沿标注线递增。3.根据权利要求1所述的基于语义信息约束的水下图像相对深度估计方法，其特征在于，沿相对深度标注图的标注线进行超像素分割，得到超像素块，其方法为：通过超像素分割算法在相对深度标注图的标注线上等间距选取种子点，并在种子点的邻域内进行聚类，最终沿标注线得到超像素块。2CN113822919A权利要求书2/3页4.根据权利要求1所述的基于语义信息约束的水下图像相对深度估计方法，其特征在于，所述像素深度值差异损失，其计算方法为：其中，表示像素深度值差异损失，为相对深度预测图，为基础深度图，为位置坐标，为相对深度预测图的像素总数。5.根据权利要求4所述的基于语义信息约束的水下图像相对深度估计方法，其特征在于，所述语义深