一种基于时空注意的单目图像深度估计系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115100090A(43)申请公布日2022.09.23(21)申请号202210646212.1(22)申请日2022.06.09(71)申请人北京邮电大学地址100876北京市海淀区西土城路10号(72)发明人明悦范春晓孟旭阳韦秋吉(74)专利代理机构北京市商泰律师事务所11255专利代理师黄晓军(51)Int.Cl.G06T5/50(2006.01)G06T7/50(2017.01)G06V10/42(2022.01)G06N3/04(2006.01)权利要求书3页说明书10页附图2页(54)发明名称一种基于时空注意的单目图像深度估计系统(57)摘要本发明提供了一种基于时空注意的单目图像深度估计系统。包括：时空学习模块接收输入的单目图像序列，学习单目图像序列中的时空特征；时空增强模块对时空特征序列进行池化操作获得融合特征，对融合特征执行自注意力操作，得到空间增强后的时空特征；采用卷积操作分别对相邻视图的时空特征进行压缩，采用迭代选择的方式在不同特征图之间执行互注意力操作，得到时序关联特征。时空解码模块对空间增强后的时空特征和时序关联特征进行上采样，输出与图像深度大小相同的深度图。本发明系统不仅对单目视频中空间结构信息和时序关联信息的关注与学习，而且增强了网络对时空特征的映射和表达能力，重建了与输入图像序列的时空特征保持一致的单目深度图。CN115100090ACN115100090A权利要求书1/3页1.一种基于时空注意的单目图像深度估计系统，其特征在于，包括：时空学习模块、时空增强模块和时空解码模块；所述时空学习模块，用于接收输入的单目图像序列，学习所述单目图像序列中的时空特征，将所述时空特征序列传输给时空增强模块；所述时空增强模块，用于对时空特征序列进行池化操作获得融合特征，对融合特征执行自注意力操作，得到空间增强后的时空特征；采用卷积操作分别对相邻视图的时空特征进行压缩，采用迭代选择的方式在不同特征图之间执行互注意力操作，得到时序关联特征；将空间增强后的时空特征和时序关联特征传输给时空解码模块；所述时空解码模块，用于通过解卷积模块对空间增强后的时空特征和时序关联特征进行上采样，输出与图像深度大小相同的深度图。2.根据权利要求1所述的方法，其特征在于，所述时空学习模块，具体由7个ConvLSTM单元组成，ConvLSTM单元的时空特征学习模块通过卷积运算提取输入的单目图像序列的二维时空特征图，ConvLSTM单元的学习过程表示为：其中，“*”和分别表示卷积运算和Hadamard乘积；和分别表示输入、单元输出和隐藏状态；“it”、“ft”和“ot”分别表示ConvLSTM的输入门、遗忘门和输出门的特征图，该特征图为三维张量，且最后两维表示空间维度；“Wx.”和“b.”分别表示对应卷积计算中卷积核和偏移项；ConvLSTM单元的时空特征学习模块通过特征存储、融合和更新操作来传递相邻帧的二维时空特征图。3.根据权利要求2所述的方法，其特征在于，所述时空增强模块包括并行执行的空间注意力子模块和时间注意力子模块；所述空间注意力子模块，用于增强网络对时空特征的关注与学习，对时空特征分别进行最大池化和平均池化操作获得两个池化特征，融合不同的池化特征，对融合特征执行自注意力操作，得到空间增强后的时空特征，并传输给时空解码模块；所述时间注意力子模块，用于采用卷积操作分别对相邻视图的时空特征进行压缩，得到两个特征图，采用迭代选择的方式在两个特征图之间执行互注意力操作，计算出经过对应特征互注意力机制增强后的时序关联特征，并传输给时空解码模块。4.根据权利要求3所述的方法，其特征在于，所述空间注意力子模块，具体用于采用基于融合特征的自注意力机制，用H×W表示特征分辨率大小，用C和C1分别表示特征通道数和降维后的通道数，用MaxPooling和AvgPooling分别表示最大池化和平均池化操作，对于时空特征采用两个不同的池化操作：最大池化和平均池化，对时空特征进行特征压缩，分别获得两个维度均为H×W×C1的特征图Φ1和Φ2，按照对应通道相加的方式融合2CN115100090A权利要求书2/3页特征图和获得维度为H×W×C1的特征图Φ3；对融合特征执行自注意力操作，将变形后的融合特征分别作为键特征和查询特征，并采用softmax函数对键特征和查询特征进行归一化操作，获得当前时空特征的空间注意力权重图该自注意力权重图的大小为HW×HW，中的每一个元素表示为：其中，表示第i个像素点对第j个像素点的影响；φ3i和φ3j表示融合特征Φ3的元素；N＝H×W，表示输入图像中的像素点数总和；将融合特征再次变形后作为自注意力的值特征Value，并将值特征与空间注意力权重图进行加权计算，突出选择后