一种基于图像融合和改进ResNet的图像识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110516687A(43)申请公布日2019.11.29(21)申请号201910724082.7(22)申请日2019.08.07(71)申请人北京工业大学地址100124北京市朝阳区平乐园100号(72)发明人李建强李鹏智谢海华王延安(74)专利代理机构北京思海天达知识产权代理有限公司11203代理人刘萍(51)Int.Cl.G06K9/46(2006.01)G06K9/62(2006.01)G06T5/40(2006.01)G06T7/44(2017.01)G06T7/90(2017.01)G06N3/04(2006.01)权利要求书1页说明书4页附图3页(54)发明名称一种基于图像融合和改进ResNet的图像识别方法(57)摘要本发明涉及一种基于图像融合和改进ResNet的图像识别方法。本发明设计提取图像的多种特征，对大尺寸原图像进行主成分分析，分成从大到小的三个主成分向量，保留第一主成成分，即保留原图像的最大特征；然后对于两个较小的主成分分别用提取的两个特征进行替换，生成新的大尺寸图像。用新的大尺寸图像去训练改进的ResNet模型，从而提升模型对于尺寸比较大、光线强弱以及背景的干扰比较突出的图像识别分类的准确性和敏感度。CN110516687ACN110516687A权利要求书1/1页1.一种基于图像融合和改进ResNet的图像识别方法，其特征在于，具体包括以下步骤：(1)制作图像训练样本：(1)-1对训练图像数据集合进行相关专家标记，形成图像训练样本集合，原图像是r*c尺寸的RGB图像；(2)白化处理以及提取LBP特征：(2)-1对于原图像利用现有的数字图像处理方法分别进行提取白化特征和LBP特征，(3)主成分分析替换处理：(3)-1读取原RGB图像获得相应的矩阵，记做mol0，即mol0的形式为r*c*3；读取白化图像矩阵为r*c，记做ban0；读取LBP矩阵为r*c，记做ban010；然后进行矩阵数据归一化预处理在0-1之间：公式(1)如下：mol＝mol0/255；ban＝ban0/255；ban01＝ban010/255(1)(3)-2把mol的矩阵变换成一个(r*c)*3的矩阵，即把mol的每个通道矩阵变换成一行例，记为mols，然后求出mol的相关矩阵，记做correlation，公式(2)如下，其中mol’为mol的转置矩阵；然后求出特征值value与特征向量vector得到主主成分矩阵，记做pa，公式(3)如下；然后把得到的主成分矩阵变换成一个r*c*3的矩阵，记做pas；correlation＝(mol’*mol)/(r*c)(2)pa＝mols*vector(3)(3)-3因为第二步骤得到的特征值value是从小到达排列的，所以pas的第三通道就是第一主成分，保留第一主成分，把剩余的两个较小的通道进行归一化处理，即每个通道的元素处于0-1之间，然后把白化处理的特征和LBP特征分别和剩余两个较小的通道主成分进行直方图匹配处理，即使ban、ban01的直方图与第二主成分、第三主成分的直方图一致；(3)-4直方图匹配完成后，ban、ban01分别去替换第二、三主成成分的矩阵，然后通过PCA逆变换重构融合图像形成新的RGB图像；(4)改进ResNet：(4)-1保留模型的卷积不动,去掉模型最后的平均池化层和全连接层得到r个特征图，即featuremaps，然后依次加入Relu层、卷积层，其中卷积核大小为3*3，步长为2，卷积层得到下采样后的r个特征图，再加入批处理规范化层，即BatchNormalization，平均池化层得到r个1*1的特征图，然后变换成r*1的向量，最后经过全连接层得到分类结果；(5)训练改进的ResNet模型：(5)-1直接用新生成的大图像训练样本集合去训练改进的ResNet模型，得到最终的图像识别分类结果。2CN110516687A说明书1/4页一种基于图像融合和改进ResNet的图像识别方法技术领域[0001]本发明设计提取图像的多种特征，对大尺寸原图像进行主成分分析，分成从大到小的三个主成分向量，保留第一主成成分，即保留原图像的最大特征；然后对于两个较小的主成分分别用提取的两个特征进行替换，生成新的大尺寸图像。用新的大尺寸图像去训练改进的ResNet模型，从而提升模型对于尺寸比较大、光线强弱以及背景的干扰比较突出的图像识别分类的准确性和敏感度。背景技术[0002]图像识别是人工智能的一个重要领域，根据各自在图像信息中所反映的不同特征，对目标区识别分类的图像处理方法。图像识别的传统方法是特征描述及检测，但由于实际情况非常复杂，传统的分类方法不堪重负。现在比较流行的是某种CNN模型来进行图像的识别分类