一种基于深度神经网络的夜间视频着色方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113920455A(43)申请公布日2022.01.11(21)申请号202111009898.5G06K9/62(2022.01)(22)申请日2021.08.31G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人暨南大学G06V10/774(2022.01)地址510632广东省广州市天河区黄埔大G06V10/82(2022.01)道西601号(72)发明人李志颖戚自华陈唯彬陈力彦赵容黄斐然(74)专利代理机构广州市华学知识产权代理有限公司44245代理人黄卫萍(51)Int.Cl.G06V20/40(2022.01)G06V20/52(2022.01)G06V10/25(2022.01)G06V10/56(2022.01)权利要求书2页说明书4页附图3页(54)发明名称一种基于深度神经网络的夜间视频着色方法(57)摘要本发明涉及一种基于深度神经网络的夜间视频着色方法，包括步骤：S1、建立目标检测神经网络模型，输入待处理的视频图像，利用目标检测算法，检测目标实例并生成裁剪的目标图像；S2、建立着色网络，通过构建两个端到端训练的骨干网络，包括实例着色网络和全图像着色网络，进行实例着色和全图像着色；再构建两个着色网络对应层级，进行端到端训练的全卷积神经网络；S3、建立融合模块，选择性地融合从实例着色网络和全图像着色网络中提取到的特征，最终获得着色后的夜间视频图像。本发明通过输入待处理的视频图像，将图像经过目标检测网络，实例图像着色和全图像着色的全卷积网络，以及融合模块的处理，最终获得着色后的夜间视频图像。CN113920455ACN113920455A权利要求书1/2页1.一种基于深度神经网络的夜间视频着色方法，其特征在于，包括以下步骤：S1、建立目标检测神经网络模型，输入待处理的视频图像，利用目标检测算法，检测目标实例并生成裁剪的目标图像，将目标图像提取出来，再将提取到的目标图像特征输出送入全连接网络进行分类和回归，将分类回归的结果送入到全卷积网络中，从目标图像特征中恢复出每个像素所属的类别；S2、建立着色网络，通过构建两个端到端训练的骨干网络，包括实例着色网络和全图像着色网络，进行实例着色和全图像着色；再构建两个着色网络对应层级，进行端到端训练的全卷积神经网络；S3、建立融合模块，将实例着色网络和全图像着色网络中提取到的特征进行三层卷积得到全图像权重图与实例权重图，再对实例图像特征和实例权重图按照坐标改变成全图像特征大小，最后对全图像特征和每组实例图像特征分别按照对应权重图进行加权融合，获取着色后的夜间视频图像。2.根据权利要求1所述的一种基于深度神经网络的夜间视频着色方法，其特征在于，步骤S1中建立目标检测神经网络模型的具体步骤如下：S11、设置主体网络层，主体网络构架以训练或预测的原始图片作为输入单位，经过自下而上连接、自上而下连接和横向连接三个步骤对图片进行多尺度检测，并将图片各个层级的特征进行融合；S12、设置头部网络层，将步骤S11提取获取到的特征图划分为7x7的网格，对每一个网格进行双线性插值得到四个点，插值后进行最大池化得到最终的7x7的特征图作为输入，经过全卷积神经网络处理得到固定尺寸，完成Mask的预测。3.根据权利要求2所述的一种基于深度神经网络的夜间视频着色方法，其特征在于，步骤S11中自下而上连接、自上而下连接和横向连接三个步骤的具体过程为：自下而上连接，将完整的图片根据特征图的大小分为5块，特征图中2、3、4、5各自最后一层的输出分别定义为C2、C3、C4、C5；自上而下连接，从最高层开始进行上采样，上采样利用最近邻上采样；横向连接，将自上而下连接中的上采样的结果和自下而上连接生成的相同大小的特征图进行融合；对C2、C3、C4、C5中的每一层经过1x1的卷积操作以及无激活函数操作，同时将输出通道设置为256通道，然后和上采样的特征图进行加和操作，融合之后再采用3*3的卷积核对已融合的特征图进行处理，对上采样的混叠效应消除进行。4.根据权利要求1所述的一种基于深度神经网络的夜间视频着色方法，其特征在于，检测目标实例并生成裁剪的目标图像的具体过程为：在检测到每个对象的边界框后，裁剪出相应的灰度实例图像和色彩实例图像，并将裁剪后的图像大小转换为256x256分辨率。5.根据权利要求1所述的一种基于深度神经网络的夜间视频着色方法，其特征在于，步骤S2中建立着色网络的具体步骤如下：S21、建立实例着色网络进行实例图像着色，利用预训练检测网络MaskRCNN作为目标检测器，获取目标以及坐标，裁剪成实例图像，再将该实例图像输入到实例着色网络中，建立拥有多个中间层的卷积神经网络，包括卷积层、池化层、Re