深度图像的处理方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112801907A(43)申请公布日2021.05.14(21)申请号202110152764.2(22)申请日2021.02.03(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人焦少慧刘鑫王悦(74)专利代理机构北京远智汇知识产权代理有限公司11659代理人范坤坤(51)Int.Cl.G06T5/00(2006.01)G06T7/269(2017.01)权利要求书2页说明书12页附图4页(54)发明名称深度图像的处理方法、装置、设备和存储介质(57)摘要本发明公开了一种深度图像的处理方法、装置、设备和存储介质。该方法包括：获取同一空间区域下的彩色图像和深度图像；通过预训练神经网络预测所述彩色图像中的目标三维信息，其中，所述预训练神经网络通过样本彩色图像和所述样本彩色图像中的样本三维信息训练得到；根据所述目标三维信息，填补所述深度图像中的空洞以及所述深度图像相对所述彩色图像的视野盲区。该方法不仅对深度图像中存在的空洞进行了深度填补，同时，还对深度图像的视野盲区进行了深度填补，从而扩大了深度图像的视角范围以及深度范围。CN112801907ACN112801907A权利要求书1/2页1.一种深度图像的处理方法，其特征在于，包括：获取同一空间区域下的彩色图像和深度图像；通过预训练神经网络预测所述彩色图像中的目标三维信息，其中，所述预训练神经网络通过样本彩色图像和所述样本彩色图像中的样本三维信息训练得到；根据所述目标三维信息，填补所述深度图像中的空洞以及所述深度图像相对所述彩色图像的视野盲区。2.根据权利要求1所述的方法，其特征在于，所述目标三维信息包括深度边界、法向量以及能够体现空间透视关系的直线。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标三维信息，填补所述深度图像中的空洞以及所述深度图像相对所述彩色图像的视野盲区，包括：根据所述目标三维信息，通过求解最小化能量函数来填补所述深度图像中的空洞以及所述深度图像相对所述彩色图像的视野盲区，其中，所述最小化能量函数用于表示所述深度图像和处理后的深度图像之间的能量差距最小。4.根据权利要求3所述的方法，其特征在于，所述根据所述目标三维信息，通过求解最小化能量函数来填补所述深度图像中的空洞以及所述深度图像相对所述彩色图像的视野盲区，包括：将所述深度图像作为输入深度图像，根据所述深度边界，将所述输入深度图像在深度边界处的深度绝对差和输出深度图像在深度边界处的深度绝对差间的统计最小平方差作为第一约束条件，其中，所述输出深度图像是指假设对所述输入深度图像经过空洞以及视野盲区填补后得到的图像；根据所述直线，将所述输入深度图像和所述输出深度图像在直线上的统计最小平方差作为第二约束条件；根据所述法向量，将所述输入深度图像和所述输出深度图像在法向估计上的统计最小平方差作为第三约束条件；将所述输入深度图像和所述输出深度图像在深度像素上的统计最小平方差作为第四约束条件；基于所述第一约束条件、所述第二约束条件和所述第三约束条件中的至少之一，以及所述第四约束条件求解最小化能量函数，得到目标解；根据所述目标解填补所述输入深度图像中的空洞以及所述深度图像相对所述彩色图像的视野盲区，得到最终的输出深度图像。5.根据权利要求4所述的方法，其特征在于，所述第一约束条件、所述第二约束条件、所述第三约束条件以及所述第四约束条件各自对应的权重按照由大到小的顺序排列如下：所述第二约束条件、所述第四约束条件、所述第一约束条件、所述第三约束条件。6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：对经过空洞以及视野盲区填补后的深度图像进行上采样处理，得到增强深度图像。7.根据权利要求6所述的方法，其特征在于，还包括：采用光流法预测深度图像序列的帧间运动信息，其中，所述深度图像序列包括多个在时间上连续的所述增强深度图像；根据所述帧间运动信息对所述深度图像序列进行插帧处理。2CN112801907A权利要求书2/2页8.根据权利要求1至5中任一项所述的方法，其特征在于，在所述获取同一空间区域下的彩色图像和深度图像之后，还包括：确定所述彩色图像和所述深度图像之间的变换矩阵；根据所述变换矩阵，对所述深度图像进行坐标系变换。9.一种深度图像的处理装置，其特征在于，包括：获取模块，用于获取同一空间区域下的彩色图像和深度图像；第一预测模块，用于通过预训练神经网络预测所述彩色图像中的目标三维信息，其中，所述预训练神经网络通过样本彩色图像和样本彩色图像中的样本三维信息训练得到；第一处理模块，用于根据所述目标三维信息，填补所述深度图像中的空洞以及所述深度图像相对所述彩色图