红外图像增强方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108961180A(43)申请公布日2018.12.07(21)申请号201810650982.7(22)申请日2018.06.22(71)申请人理光软件研究所（北京）有限公司地址100044北京市海淀区西外大街168号腾达大厦2801(72)发明人李学锋刘殿超张观良付万豪杨光伟李壮(74)专利代理机构北京东方灵盾知识产权代理有限公司11506代理人王君昌郑利华(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06T3/40(2006.01)权利要求书2页说明书7页附图4页(54)发明名称红外图像增强方法及系统(57)摘要本发明提出了一种红外图像增强方法及系统，其特征在于，包括以下步骤：利用卷积神经网络提取与低分辨率红外图像对应的高清可见光图像的轮廓信息；使用超像素分割神经网络对所述低分辨率红外图像进行处理，以获得高清红外图像信息；对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理。根据本发明的红外图像增强方法，以红外和对应的可见光图像作为训练数据，通过训练得到一个可以有效恢复红外图像中物体信息的超分辨率重建网络。CN108961180ACN108961180A权利要求书1/2页1.一种红外图像增强方法，其特征在于，包括以下步骤：S1：利用卷积神经网络提取与低分辨率红外图像对应的高清可见光图像的轮廓信息；S2：使用超像素分割神经网络对所述低分辨率红外图像进行处理，以获得高清红外图像信息；S3：对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理，其中，在进行处理时，将所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行比较，将所述高清红外图像信息和所述高清可见光图像的轮廓信息的轮廓差异作为训练的损失函数，反复对的所述高清红外图像的超分辨率重建的卷积神经网络参数进行更新，直到所述高清红外图像信息和所述高清可见光图像的轮廓信息的差异满足预定条件。2.根据权利要求1所述的红外图像增强方法，其特征在于，训练所述卷积神经网络，并利用训练好的所述卷积神经网络提取所述高清可见光图像的轮廓信息。3.根据权利要求2所述的红外图像增强方法，其特征在于，训练所述卷积神经网络包括以下步骤：S11：收集所述高清可见光图像的数据集以及对应的已标注的真实边缘信息；S12：将所述可见光数据集分为训练数据、测试数据和验证数据；S13：改进所述卷积神经网络用于边缘提取任务；S14：利用所述训练数据，所述测试数据对该模型进行迭代优化，直到满足终止条件。4.根据权利要求2所述的红外图像增强方法，其特征在于，改进所述卷积神经网络包括以下步骤：S131：采用U型网络作为改进的基础模型；S132：在所述U型网络的每次反卷积操作之前，引入全卷积层，以获得不同尺度的分割图像；S133：将不同尺度下得到的分割图像进行加权叠加，以获得最终的所述高清可见光图像的轮廓信息。5.根据权利要求1所述的红外图像增强方法，其特征在于，所述低分辨率红外图像进行处理，以获得高清红外图像信息包括以下步骤：S21：收集低分辨率的红外图像；S22：使用SRCNN网络进行红外图像的超分辨率重建，并获得最终的高分辨率红外图像。6.根据权利要求1所述的红外图像增强方法，其特征在于，对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理时，包括以下步骤：S31：调整所述高清红外图像信息以使红外图像的尺寸与所述可见光图像的轮廓信息对应的尺寸相同；S32：利用提取所述高清可见光图像的轮廓信息的卷积神经网络提取高清红外图像信息。7.根据权利要求1所述的红外图像增强方法，其特征在于，对所述高清红外图像信息并与所述高清可见光图像的轮廓信息进行处理时，包括以下步骤：S33：输入所述高清红外图像信息与所述高清可见光图像的轮廓信息；S34：计算所述高清可见光图像的轮廓信息与所述高清红外图像信息的差异值；S35：更新所述卷积神经网络参数，直到差异值满足要求。2CN108961180A权利要求书2/2页8.根据权利要求1所述的红外图像增强方法，其特征在于，所述损失函数为：其中M代表单次参与迭代的数据的个数，N代表单张图的图像平面，其中(x,y)代表图像平面中的像素点，如果像素点(x,y)是轮廓像素点，则I(x,y)＝1，如果(x,y)不是轮廓像素点，则I(x,y)＝0.Dc代表红外轮廓像素点与可见光轮廓像素点的距离，V(x,y)代表红外图像中轮廓像素点的位置，而Vgd是可见光轮廓图中与之最近的像素点的位置，如果他们的距离大于一定的阈值，该值为0。9.一种红外图像增强系统，其特征在于,包括：含有卷积神经网络的第一轮廓提取模型，所述第一轮廓提取模型用于从低分辨率红外图像提取高清可