基于注意力机制的无监督单目深度估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114119698A(43)申请公布日2022.03.01(21)申请号202110676865.X(22)申请日2021.06.18(71)申请人湖南大学地址410082湖南省长沙市岳麓区麓山南路麓山门(72)发明人张小刚凌传武陈华王炼红王绍源(74)专利代理机构长沙新裕知识产权代理有限公司43210代理人刘加(51)Int.Cl.G06T7/55(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书10页附图2页(54)发明名称基于注意力机制的无监督单目深度估计方法(57)摘要基于注意力机制的无监督单目深度估计方法，包括以下步骤：步骤S1：将KITTI数据集调整至同一分辨率大小后，划分为训练数据集、验证数据集和测试数据集；步骤S2：对训练数据集和验证数据集中的数据进行数据增广；步骤S3：构建单目深度估计神经网络；步骤S4：利用训练数据集训练单目深度估计神经网络得到相应的权重与偏置，即网络模型参数，将得到的网络模型参数代入验证数据集，保存使得验证数据集损失函数最小的网络模型参数；步骤S5：使用损失函数最小的网络模型参数，对测试数据集进行测试，得到测试数据集的预测值。本发明能有效提高单目深度估计的精度。CN114119698ACN114119698A权利要求书1/4页1.一种基于注意力机制的无监督单目深度估计方法，其特征在于，包括以下步骤：步骤S1：将KITTI数据集调整至同一分辨率大小后，划分为训练数据集、验证数据集和测试数据集；步骤S2：对训练数据集和验证数据集中的数据进行数据增广；步骤S3：构建单目深度估计神经网络；步骤S4：利用训练数据集训练单目深度估计神经网络得到相应的权重与偏置，即网络模型参数，将得到的网络模型参数代入验证数据集，保存使得验证数据集损失函数最小的网络模型参数；步骤S5：使用损失函数最小的网络模型参数，对测试数据集进行测试，得到测试数据集的预测值。2.如权利要求1所述的基于注意力机制的无监督单目深度估计方法，其特征在于：所述步骤S2中，对数据进行数据增广的方法如下：步骤S2‑1：图像水平翻转；概率为0.5；步骤S2‑2：图像伽马校正，校正系数范围为0.8‑1.2；概率为0.5；步骤S2‑3：图像亮度偏移，偏移系数范围为0.5‑2.0；概率为0.5；步骤S2‑4：图像RGB通道偏移，偏移系数范围为0.8‑1.2；概率为0.5。3.如权利要求1或2所述的基于注意力机制的无监督单目深度估计方法，其特征在于：所述步骤S3中，构建的单目深度估计神经网络包括编码器和解码器，编码器与解码器相连，编码器包括第一卷积层、第一注意力层、Resnet50网络层，第一卷积层与第一注意力层相连，第一注意力层与Resnet50网络层相连；解码器包括第二注意力层、上采样层、第一卷积‑上采样层、第二卷积‑上采样层、第三卷积‑上采样层、第四卷积‑上采样层、第五卷积‑上采样层和第二卷积层；第二注意力层与上采样层相连，上采样层与第一卷积‑上采样层相连，第一卷积‑上采样层与第二卷积‑上采样层相连，第二卷积‑上采样层与第三卷积‑上采样层相连，第三卷积‑上采样层与第四卷积‑上采样层相连，第四卷积‑上采样层与第五卷积‑上采样层相连，第五卷积‑上采样层与第二卷积层相连，Resnet50网络层与第二注意力层相连。4.如权利要求1或2所述的基于注意力机制的无监督单目深度估计方法，其特征在于：所述步骤S4，包括以下步骤：步骤S4‑1：设置初始化迭代次数I＝0，最大迭代次数为Imax；使用Xavier初始化神经网络各层权重参数；步骤S4‑2：使用网络中编码器进行特征提取；步骤S4‑3：使用网络中解码器预测视差图；步骤S4‑4：通过扭曲操作，得到多次合成的视图；步骤S4‑5：计算网络损失函数；步骤S4‑6：计算使验证数据集损失函数最小的网络模型参数。5.如权利要求4所述的基于注意力机制的无监督单目深度估计方法，其特征在于：所述步骤S4‑2，包括以下步骤：步骤S4‑2‑1：第一卷积层对输入图像X进行处理，得到图像X1：X1＝conv1(X)2CN114119698A权利要求书2/4页其中conv1代表第一卷积层，图像X的维度为3×H×W，即输入的三通道RGB图像，H为图像X的高度，W为图像X的宽度；X1的维度为C1×H×W，其中C1是第一卷积层中卷积核的个数；输入图像X是双目图像对中的左图Il；步骤S4‑2‑2：第一注意力层对图像X1进行处理，输出Fout；步骤S4‑2‑3：通过Resnet50网络层提取Fout中深度图的高层特征。6.如权利要求5所述的基于注意力机制的无监督单目深度估计方法，其特征在于：所述步骤S4‑2‑2，包括以