图像深度信息的确定方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114066957A(43)申请公布日2022.02.18(21)申请号202010784818.2(22)申请日2020.08.06(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人刘继文(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人林祥(51)Int.Cl.G06T7/50(2017.01)权利要求书2页说明书18页附图4页(54)发明名称图像深度信息的确定方法、装置、电子设备和存储介质(57)摘要本公开关于图像深度信息的确定方法、装置、电子设备和存储介质，所述方法包括：获取历史帧图像中特征区域内像素点的深度值，该历史帧图像在目标视频中位于目标帧图像之前，且目标帧图像中包含匹配于特征区域的目标区域；按照特征区域和所述目标区域的对应关系将深度值映射到目标区域，生成对应于目标帧图像的深度值集合，该深度值集合中记录有目标区域内目标点的位置信息和深度值；基于目标帧图像中各个像素点的颜色值和上述深度值集合，确定目标帧图像对应的目标深度图。该方法能够避免运动区域存在断层或难以对齐的问题；而且因为在深度预测过程中具有自纠错能力，所以具有较高的深度预测准确度。CN114066957ACN114066957A权利要求书1/2页1.一种图像深度信息的确定方法，其特征在于，包括：根据历史帧图像中的关键点确定包含所述关键点及其相邻像素点的特征区域，并获取所述特征区域内各个像素点的深度值，所述历史帧图像在目标视频中位于目标帧图像之前，且所述目标帧图像中包含匹配于所述特征区域的目标区域；按照所述特征区域和所述目标区域的匹配关系将所述各个像素点的深度值映射到所述目标区域，生成对应于所述目标帧图像的深度值集合，所述深度值集合中记录有所述目标区域内的目标点的位置信息和记录深度值，所述目标点对应于所述特征区域中的所述各个像素点；基于所述目标帧图像中各个像素点的颜色值和所述深度值集合，确定所述目标帧图像对应的目标深度图。2.根据权利要求1所述的方法，其特征在于，所述根据历史帧图像中的关键点确定包含所述关键点及其相邻像素点的特征区域，包括：确定历史帧图像中的关键点；基于预定义的扩展规则确定包含所述关键点及其相邻像素点的扩展区域，并将所述扩展区域确定为所述特征区域。3.根据权利要求2所述的方法，其特征在于，通过下述方式确定所述目标点的深度值：搜索所述目标帧图像中匹配于所述特征区域的目标区域；确定所述目标区域内的每个目标点在所述特征区域内对应的像素点；将对应于所述目标点的所述像素点的深度值确定为所述目标点的深度值。4.根据权利要求1所述的方法，其特征在于，所述基于所述目标帧图像中各个像素点的颜色值和所述深度值集合，确定所述目标帧图像对应的目标深度图，包括：根据所述目标帧图像中各个像素点的颜色值，确定所述各个像素点的预估深度值；根据所述目标点的预估深度值和所述深度值集合，确定所述目标点的目标深度值；基于所述目标点的目标深度值和所述目标帧图像中处于所述目标区域之外的非目标点的预估深度值构建对应于所述目标帧图像的目标深度图。5.根据权利要求4所述的方法，其特征在于，所述目标点的目标深度值和所述记录深度值之间的差值，与所述目标点的预估深度值和所述记录深度值之间的差值正相关。6.根据权利要求5所述的方法，其特征在于，所述根据所述目标帧图像中各个像素点的颜色值，确定所述各个像素点的预估深度值，包括：将所述目标帧图像中各个像素点的颜色值和所述深度值集合输入预先训练完成的深度预测模型中，并获取所述深度预测模型输出的对应于所述目标帧图像的预估深度图，所述预估深度图中包含所述各个像素点的预估深度值。7.根据权利要求6所述的方法，其特征在于，所述深度预测模型的训练方法，包括：确定包括样本目标帧图像中各个像素点的颜色值和样本历史深度值集合的训练样本，所述样本深度值集合中记录有所述样本目标帧图像中样本目标点的位置信息和样本历史深度值，所述样本历史深度值为样本历史帧图像中匹配于所述样本目标点的像素点的深度值；将所述训练样本输入待训练模型，以获取所述待训练模型输出的对应于所述样本目标2CN114066957A权利要求书2/2页帧图像的样本预测深度图；根据样本标准深度图与所述样本预测深度图训练所述待训练模型以得到所述深度预测模型，其中，所述样本标准深度图包括所述样本目标帧图像的样本实际深度图，或者对应于所述样本目标帧图像的融合深度图，所述融合深度图由所述样本实际深度图和所述样本历史帧图像对应的样本历史深度图通过非线性融合得到。8.一种图像深度信息的确定装置，其特征在于，包括：深度值获取模块，被配置为根据历史帧图像中的关键点确定包含所述