一种水下扭曲图像复原方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113592738A(43)申请公布日2021.11.02(21)申请号202110855868.X(22)申请日2021.07.28(71)申请人南通泰胜蓝岛海洋工程有限公司地址226200江苏省南通市启东市寅阳镇船舶海工工业园区蓝岛路1号申请人同济大学(72)发明人张伦伟张震米智楠朱军(74)专利代理机构北京和信华成知识产权代理事务所(普通合伙)11390代理人管林林(51)Int.Cl.G06T5/00(2006.01)G06T7/30(2017.01)权利要求书3页说明书8页附图2页(54)发明名称一种水下扭曲图像复原方法(57)摘要本发明公开了一种水下扭曲图像复原方法，包括以下步骤，S1、扭曲图像的读取；S2、显著特征点的选取；S3、显著特征点的跟踪；S4、运动矢量场的估计；S5周期性畸变初步复原；S6、幸运块融合；S7、盲反卷积去模糊；S8、非刚性的图像迭代配准。本发明具有如下优点：提出水面波动类型的假设并提出相应的双阶段复原算法，从而对扭曲的水下图像实现有效的复原。CN113592738ACN113592738A权利要求书1/3页1.一种水下扭曲图像复原方法，其特征在于，包括以下步骤，S1、扭曲图像的读取，针对自然条件下的波动水面的特性，读取水下扭曲视频，并将该扭曲视频逐帧分解为图像序列；S2、显著特征点的选取，在视频首帧图像中进行显著特征点的检测；S3、显著特征点的跟踪，在后续的图像序列中跟踪所选特征点，得到特征点的运动矢量；S4、运动矢量场的估计，基于压缩感知理论，由特征点的运动矢量求解出图像整体的运动矢量场；S5、周期性畸变初步复原，根据步骤S4中得到的运动矢量场纠正每帧图像中的周期性畸变，实现初步复原；S6、幸运块融合，将初步复原后的图像序列划分为图像块，以结构相似度为指标挑选出扭曲程度小的前50％的图像块，并将其图像块融合呈单幅图像；S7、盲反卷积去模糊，利用Richardson‑Lucy盲反卷积算法去除融合图像中的高斯模糊，重建出更清晰的参考图像；S8、非刚性的图像迭代配准，利用基于B样条的非刚性配准算法将图像序列与重建后的参考图像配准，达到消除残余随机性畸变的效果，当不满足迭代终止条件时，重复步骤S6、S7、S8；当步骤S8中图像序列与重建后的参考图像配准，满足迭代终止条件时，则输出复原之后的无失真图像序列；所述步骤S1中，自然条件下的波动水面的特性，将水面波动假设为周期性波动和随机性波动的叠加作用；针对于周期性波动引起的周期性畸变的图像复原，具体方法包括：A、扭曲图像的读取，读取扭曲的水下视频，并将其逐帧分解为扭曲的图像序列Vd＝{Id1，Id2，...Idn}；B、显著特征点的选取，由于周期性波动引起的运动矢量场服从稀疏性分解，即可通过少数点的运动向量求解出图像整体的运动矢量场，利用常见的特征点提取算法，如SURF算法、FAST算法、Harris角点检测算法和BRISK算法，在视频的首帧图像上提取显著特征点，所有算法提取出的特征点取并集得到一组显著特征点集合其中(xi，yi)为选出的特征点坐标，M为特征点的个数；C、显著特征点的跟踪，利用Kanada‑Lucas‑Tomasi算法跟踪步骤A中选出的特征点得到一组特征点的运动轨迹其中n为序列图像的帧数量，i为特征点的序号；D、运动矢量场的估计，完成跟踪部分后，根据特征点的运动轨迹pi计算特征点的真实位置，根据Cox‑Munk法则，当相机长时间观测水下一点时，所捕获的点以其真实位置为中心波动，因此，将运动轨迹的中心看作特征点的真实位置，具体公式如下：其中，下标0代表原始的无失真图像，即各个特征点的真实位置，根据特征点真实位置2CN113592738A权利要求书2/3页的估计计算各个特征点的位移由于3D运动矢量场在离散傅里叶域内服从稀疏分解，因此特征点的位移集合在时空域内可以看作是稀疏样本，将位移集合拼接成由nM个元素组成的测量向量υ，并基于压缩感知理论构造求解模型：υ＝ΦΨS+η压缩感知的目的在于由稀疏采样的信号点还原出原始的信号，即通过少量特征点的运动向量还原出整体运动矢量场在傅里叶域内分解的稀疏系数S，进而得到整幅图像在所有位置点的运动向量；E、基于图像的整体运动矢量场对所有的序列图像进行畸变纠正，以达到消除周期性畸变的效果，进而得到仅含有随机性局部畸变的图像序列Vs＝{Is1，Is2，...Isn}；针对于随机性波动引起的随机性畸变，采用先重建高质量参考图像再进行迭代配准的方法实现对水下扭曲图像的复原，具体步骤包括：F、将消除周期性畸变后的图像序列Vs划分为图像块序列{{Bk}(i，j)}，保证任意相邻两图像块之间有50％的重叠区域，以结构相似度SSIM为指标挑选出扭