一种空基视角下的生成对抗网络图像补全方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111553869A(43)申请公布日2020.08.18(21)申请号202010403925.6(22)申请日2020.05.13(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人曹先彬罗晓燕刘旭辉(74)专利代理机构北京永创新实专利事务所11121代理人祗志洁(51)Int.Cl.G06T5/50(2006.01)G06T5/00(2006.01)G06K9/62(2006.01)权利要求书1页说明书5页附图1页(54)发明名称一种空基视角下的生成对抗网络图像补全方法(57)摘要本发明提供了一种空基视角下的生成对抗网络图像补全方法，属于航空监视技术领域。针对因通信或者天气等约束条件，智能无人机拍摄到的图像会有部分缺失的情况，本发明方法首先利用显著性检测模型DeepCut检测出图像中的物体形状，再利用Canny边缘检测得到其轮廓图，该轮廓图是不完整的，再利用生成式对抗网络补全物体的轮廓图，最后将补全的轮廓图作为额外信息与有缺失图像一起输入到图像补全网络中得到最终的完整图像。本发明方法可以有效地提高补全的真实度，效果显著，在空基监视下的安全检测、情报收集分析等应用中都具有重大意义。CN111553869ACN111553869A权利要求书1/1页1.一种空基视角下的生成对抗网络图像补全方法，其特征在于，该方法包括如下步骤：步骤1，由无人机采集待检测场景的图像；步骤2，对缺失图像，首先利用显著性检测模型DeepCut检测出图像中的显著目标，再利用Canny边缘检测算法检测得到目标的轮廓图；所检测到的目标的轮廓图是不完整的；步骤3，将缺失图像及不完整的轮廓图输入到轮廓补全网络中，经粗略补全和精细补全，生成目标完整的轮廓图；所述的轮廓补全网络包括粗略补全网络和精细补全网络两部分；其中，粗略补全网络是一种编码-解码结构的卷积神经网络，并通过L2损失函数来反向传播；精细补全网络是一种生成式对抗网络，其中生成模型是一种编码-解码结构的卷积神经网络，通过L2损失函数来反向传播，判决模型通过对抗损失函数来反向传播；缺失图像及不完整的轮廓图输入粗略补全网络，输出的轮廓图输入精细补全网络，输出目标完整的轮廓图；步骤4，将缺失图像及完整的目标轮廓图输入到图像补全网络中，经粗略补全和精细补全，补全缺失图像，生成完整的图像；所述的图像补全网络包括粗略补全网络和精细补全网络两部分；其中，粗略补全网络是一种编码-解码结构的卷积神经网络，并通过L2损失函数来反向传播；精细补全网络是一种生成式对抗网络，其中生成模型是一种编码-解码结构的卷积神经网络，通过L2损失函数来反向传播，判决模型通过对抗损失函数来反向传播；缺失图像及完整的目标轮廓图输入粗略补全网络，输出的补全图像和完整的目标轮廓图输入精细补全网络，输出完整的图像；步骤5，对轮廓补全网络和图像补全网络进行训练；对步骤1采集的图像，通过下面操作获取训练样本数据集，包括：(1)对无人机采集的图像，添加无规则形状的空白区域，模拟图像缺失；(2)对缺失图像进行尺度归一化，获取原始训练样本数据集；(3)对原始训练样本通过旋转、平移和翻转操作，扩展训练样本数据集；将训练样本进行步骤2，获得不完整的目标轮廓图，输入轮廓补全网络和图像补全网络进行训练；步骤6，由步骤1获得图像进行尺度归一化，然后经步骤2检测到不完整的轮廓图，输入训练好的轮廓补全网络和图像补全网络进行图像补全。2.根据权利要求1所述的方法，其特征在于，所述的步骤3和步骤4中，轮廓补全网络和图像补全网络的编码-解码结构的卷积神经网络中，进行解码时，对相邻层的特征图进行特征融合，以融合高层语义信息和底层空间信息；在进行特征融合时加入Non-local注意力机制，分别增强特征图每行像素点之间的联系以及每列像素点之间的联系。3.根据权利要求1所述的方法，其特征在于，所述的步骤1中，获取训练样本时，使用快速绘制不规则掩模数据集QD-IMD作为不规则形状空白掩膜，覆盖到无人机采集的图像上，生成缺失不规则形状区域的图像。2CN111553869A说明书1/5页一种空基视角下的生成对抗网络图像补全方法技术领域[0001]本发明属于航空监视技术领域，涉及无人机拍摄图像的补全技术，具体是一种空基视角下的生成对抗网络图像补全方法。背景技术[0002]随着无人机技术的不断成熟与发展，其应用领域越来越广泛。军事方面可以完美的替代有人机去执行4D任务，比如枯燥乏味、环境恶劣、危险性高、深入敌方的任务。民用方面更是广泛应用于农业、工业、服务行业等各领域，如农药喷洒、火灾救援、地质勘探、考古探险、物流运输等。而无人机在较为恶劣的条件下，如通信受限、天气恶劣等存在许多干扰的条件