深度估计模型的训练方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113643343A(43)申请公布日2021.11.12(21)申请号202010346542.X(22)申请日2020.04.27(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人安世杰张渊(74)专利代理机构北京中博世达专利商标代理有限公司11274代理人张娜(51)Int.Cl.G06T7/50(2017.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书13页附图3页(54)发明名称深度估计模型的训练方法、装置、电子设备及存储介质(57)摘要本公开关于一种深度估计模型的训练方法、装置、电子设备及存储介质，以至少解决卷积神经网络对视频图像深度估计的稳定性不高的问题。该方法包括：将n个样本图像以及与n个样本图像一一对应的n个模拟图像分别输入预设深度估计模型，得到分别对应n个样本图像的深度预测结果和n个模拟图像的深度预测结果；n个样本图像和n个模拟图像标注有像素点深度值；根据每个样本图像的像素点深度值和每个样本图像的深度预测结果获得n个第一损失；根据每个样本图像的深度预测结果和与每个样本图像对应的模拟图像的深度预测结果获得n个第二损失；根据n个第一损失和n个第二损失，训练预设深度估计模型，得到第一目标深度估计模型。CN113643343ACN113643343A权利要求书1/2页1.一种深度估计模型的训练方法，其特征在于，所述方法包括：将n个样本图像以及与所述n个样本图像一一对应的n个模拟图像分别输入预设深度估计模型，得到分别对应所述n个样本图像的深度预测结果和所述n个模拟图像的深度预测结果；其中，n为正整数；每个模拟图像是由对应的样本图像进行增广处理得到的；所述n个样本图像和所述n个模拟图像标注有像素点深度值；根据每个样本图像的像素点深度值和所述每个样本图像的深度预测结果获得n个第一损失；根据每个样本图像的深度预测结果和与所述每个样本图像对应的模拟图像的深度预测结果获得n个第二损失；根据所述n个第一损失和所述n个第二损失，训练所述预设深度估计模型，得到第一目标深度估计模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：使用第一方法分别对所述每个样本图像进行增广处理，得到n个分别对应所述每个样本图像的模拟图像；所述第一方法包括：镜像、旋转或平移中的至少一种；所述根据每个样本图像的深度预测结果和与所述每个样本图像对应的模拟图像的深度预测结果获得n个第二损失，包括：使用所述第一方法的逆过程分别对每个模拟图像的深度预测结果进行处理，得到n个分别对应所述每个模拟图像的第一深度预测结果；获取每个第一深度预测结果和分别与所述每个第一深度预测结果对应的样本图像的深度预测结果的损失，得到n个第二损失。3.根据权利要求2所述的方法，其特征在于，当所述第一方法包括镜像、旋转或平移中的任意一种时，所述使用第一方法分别对所述每个样本图像进行增广处理，得到n个分别对应所述每个样本图像的模拟图像，包括：根据相机成像方程，分别将所述每个样本图像投影到三维空间，得到n个第一点云；使用预设的第一旋转矩阵和第一平移向量，分别对每个第一点云进行处理，得到n个第二点云；根据相机成像方程，分别对每个第二点云进行反投影；根据所述每个样本图像和分别与所述每个样本图像对应的进行反投影后的第二点云的坐标关系，得到n个分别对应所述每个样本图像的模拟图像。4.根据权利要求3所述的方法，其特征在于，所述使用所述第一方法的逆过程分别对每个模拟图像的深度预测结果进行处理，得到n个分别对应所述每个模拟图像的第一深度预测结果，包括：使用预设的第二旋转矩阵和第二平移向量，分别对每个模拟图像的深度预测结果进行处理，得到n个分别对应所述每个模拟图像的第一深度预测结果；其中，所述第二旋转矩阵是所述第一旋转矩阵的逆矩阵；所述第一平移向量与所述第二平移向量之和为0。5.根据权利要求2-4任一项所述的方法，其特征在于，所述方法还包括：使用所述第一方法分别对每个样本图像的深度预测结果进行增广处理，得到n个分别对应所述每个样本图像的投影深度预测结果；所述第一方法包括：镜像、旋转或平移中的至少一种；2CN113643343A权利要求书2/2页根据每个模拟图像的像素点深度值和所述每个模拟图像的深度预测结果，获得n个第三损失，以及根据每个投影深度预测结果和分别与所述每个投影深度预测结果对应的模拟图像的深度预测结果，获得n个第四损失；根据所述n个第三损失和所述n个第四损失，训练所述第一目标深度估计模型，得到第二目标深度估计模型。6.一种深度估计方法，其特征在于，所述方法包括：获取待估计深度的图像；将所述待估计深度