图像对齐方法及装置、计算机可读存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113962846A(43)申请公布日2022.01.21(21)申请号202111056372.2G06N3/08(2006.01)(22)申请日2021.09.09G06V10/82(2022.01)(71)申请人北京旷视科技有限公司地址100096北京市海淀区西三旗建材城内建中路12幢一层1268号申请人北京迈格威科技有限公司(72)发明人叶年进李海鹏李有为刘帅成(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人唐正瑜(51)Int.Cl.G06T3/00(2006.01)G06V10/80(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书2页说明书16页附图3页(54)发明名称图像对齐方法及装置、计算机可读存储介质及电子设备(57)摘要本申请涉及图像处理技术领域，提供一种图像对齐方法及装置、计算机可读存储介质及电子设备。其中，图像对齐方法包括：基于源图像和目标图像，利用神经网络模型计算得到多个权重；利用多个权重将对应的多个光流基进行求和，得到第一单应性光流；利用第一单应性光流将源图像向目标图像对齐；方法中的每个权重对应第一单应性光流的一个光流基，第一单应性光流为源图像和目标图像之间的单应性矩阵对应的光流。该方法通过高效率、高精度的单应性估计，显著改善了图像对齐的效果，并且方法具有良好的鲁棒性，能够适应图像中的不同场景。CN113962846ACN113962846A权利要求书1/2页1.一种图像对齐方法，其特征在于，包括：基于源图像和目标图像，利用神经网络模型计算得到多个权重；其中，每个权重对应第一单应性光流的一个光流基，所述第一单应性光流为所述源图像和所述目标图像之间的单应性矩阵对应的光流；利用所述多个权重将对应的多个光流基进行求和，得到所述第一单应性光流；利用所述第一单应性光流将所述源图像向所述目标图像对齐。2.根据权利要求1所述的图像对齐方法，其特征在于，所述光流基的数量不少于8个。3.根据权利要求2所述的图像对齐方法，其特征在于，所述光流基的数量为8个，在所述基于源图像和目标图像，利用神经网络模型计算得到多个权重之前，所述方法还包括：生成8个原始光流基；其中，所述原始光流基的尺寸和所述源图像的尺寸以及所述目标图像的尺寸均相同，且所述8个原始光流基中的像素分别按照以下8种方式取值：(1,0)、(0,1)、(x,0)、(0,y)、(y,0)、(0,x)、(x2,xy)、(xy,y2)，x和y分别代表像素的横坐标和纵坐标；对所述8个原始光流基进行正交化，得到对应的8个光流基。4.根据权利要求1‑3中任一项所述的图像对齐方法，其特征在于，所述神经网络模型中包括至少一个低秩重构模块，所述低秩重构模块用于利用子空间投影对模块的输入特征进行降秩。5.根据权利要求4所述的图像对齐方法，其特征在于，所述低秩重构模块包括：第一分支、第二分支以及投影结构；其中，所述第一分支用于基于所述输入特征构建子空间的基，并向所述投影结构传递所述子空间的基，所述第二分支用于直接向所述投影结构传递所述输入特征，所述投影结构用于根据所述子空间的基将所述输入特征投影到所述子空间内，并输出投影后的特征；所述子空间的维度小于所述输入特征所在的向量空间的维度。6.根据权利要求4或5所述的图像对齐方法，其特征在于，所述神经网络模型包括：特征提取单元、特征融合单元以及权重预测单元；所述基于源图像和目标图像，利用神经网络模型计算得到多个权重，包括：利用所述特征提取单元分别提取所述源图像的基础特征和所述目标图像的基础特征；利用所述特征融合单元融合所述源图像的基础特征和所述目标图像的基础特征，得到融合基础特征；利用所述权重预测单元基于所述融合基础特征计算所述多个权重；其中，所述权重预测单元中包括所述至少一个低秩重构模块。7.根据权利要求6所述的图像对齐方法，其特征在于，所述神经网络模型对应的损失函数包括三重态损失，所述三重态损失中的锚点特征为目标训练图像经所述特征提取单元处理后得到的特征，正样本特征为源训练图像先经所述特征提取单元处理、再利用第二单应性光流扭曲后得到的特征，负样本特征为所述源训练图像经所述特征提取单元处理后得到的特征；其中，所述源训练图像和所述目标训练图像均为训练所述神经网络模型时使用的图像，所述第二单应性光流为训练时利用所述神经网络模型计算得到的、所述源训练图像和所述目标训练图像之间的单应性矩阵对应的光流。8.根据权利要求7所述的图像对齐方法，其特征在于，所述神经网络模型对应的损失函2CN113962846A权利要求书2/2页数还包括特征恒等损失，所述特征恒等损失表征第一特征与第二特征的差异，所述第一