一种基于多视角信息融合的图像分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114648664A(43)申请公布日2022.06.21(21)申请号202210290777.0G06N3/08(2006.01)(22)申请日2022.03.23(71)申请人北京工业大学地址100124北京市朝阳区平乐园100号(72)发明人李建强齐广玲句福娇邸远航张恺晔白云卫冰(74)专利代理机构北京思海天达知识产权代理有限公司11203专利代理师刘萍(51)Int.Cl.G06V10/764(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书3页说明书4页附图1页(54)发明名称一种基于多视角信息融合的图像分类方法(57)摘要一种基于多视角信息融合的图像分类方法，属于计算机视觉领域，具有全面学习全局图像信息和局部花粉颗粒区域信息的效果，比以往只考虑全局图像信息更加准确。本发明在关注全局图像信息的基础上，更针对性地关注局部花粉颗粒区域信息，所用网络包含两个深度学习流，对应于花粉图像的不同层次和结构水平。首先是基于全局图像信息流进行的分类，在全局图像结构上直接对花粉进行分类；其次是基于局部花粉颗粒区域信息流进行的分类，在此流中加入分割指导网络，从整个花粉图像对花粉颗粒定位，保留花粉颗粒区域图片，在局部区域图像水平上检测花粉类别；最后，将全局图像分类结果和局部花粉颗粒区域分类结果进行融合，得到最终分类结果。CN114648664ACN114648664A权利要求书1/3页1.一种基于多视角信息融合的图像分类方法，其特征在于：S1：图像预处理；对机器扫描得到的花粉图像进行格式转换和裁剪得到符合模型输入的图片；S2：设计基于全局花粉图像信息的分类器；将经过步骤S1生成的图片调整好大小输出到分类模型中进行图像的特征提取，然后输出全局花粉图像结构水平上的分类结果及概率；S3：设计基于局部花粉颗粒区域信息的分类器；将经过步骤S1得到的图片进行训练，输出局部花粉颗粒区域用图像结构水平上的分类结果及概率；S31：设计局部定位器；引入分割指导网络，对全局图像中的花粉颗粒区域进行定位，生成花粉区域定位图；然后根据此定位图，去除图像冗余信息，得到局部花粉颗粒区域细粒度图像；S32：设计局部区域分类器；根据步骤S31生成的花粉颗粒区域图像构建分类网络，训练模型，提取图像特征，输出分类结果及概率；S4：设计全局‑局部花粉信息融合器；对基于全局信息花粉图像分类结果和概率以及基于局部信息花粉图像分类结果和概率这两部分信息通过计算权重进行融合生成最终的花粉图像分类结果；S41：计算全局图像信息权重；S42：计算局部花粉颗粒区域信息权重；S43：计算花粉最终分类结果。2.根据权利要求1所述的方法，其特征在于，具体包括如下步骤：S1：图像预处理对花粉图像预处理包括包括图像格式转换和图像裁剪两个步骤；图像格式转换将数字切片扫描仪扫描得到的多层图片转换成为单层图片；图像裁剪指将上一步骤得到的单层图片裁剪成大小为224×224模型输入的图片；S2：设计基于全局花粉图像信息分类器计算基于全局花粉图像信息的图片分类结果，该模块在图像水平上表示全局花粉图像结构，并直接对花粉图像进行分类，模块的输入为S1获取的花粉图片，输出为基于全局信息的图像分类结果及概率；采用基于经典的CNN网络作为全局信息分类器的网络架构；将步骤S1获取的图像重新调整为224×224大小作为作为网络模型的输入；此网络由5个下采样组成，每个下采样用卷积核3×3的、步幅为2的卷积层对花粉图像进行特征抽取；其次是一个全局最大池化层降低模型的过拟合概率，提升对花粉颗粒特征提取的鲁棒性；然后是一个全连接层，融合模型学习到的花粉颗粒深度特征；最后是模型的分类器进行分类；最终输出基于全局信息的花粉图像分类结果及概率；S3：设计基于局部花粉颗粒区域信息分类器计算基于局部花粉颗粒区域信息图片的分类结果及概率，模块的输入为S1获取的结果图片，经过分割指导网络和分类网络提取学习花粉颗粒的特征信息，输出为基于局部花粉2CN114648664A权利要求书2/3页颗粒区域信息的分类结果及概率；此模块共包含两大阶段；S31：局部区域定位器使用CNN网络定位花粉颗粒区域，网络分为编码器和解码器；每个编码器与一个滤波器组成卷积层，生成一组编码器特征映射，并以ReLU作为激活函数；解码器利用反卷积层输出解码器特征映射，跳跃连接将相应的特征映射从编码器路径中传输，并将它们连接到上采样的解码器特征映射上，最后分类器利用1×1的卷积层作为像素分类，生成花粉图像中花粉颗粒的概率分布,得到花粉颗粒区域的定位图；评估花粉颗粒分割的系数为：其中N为像素数，pi∈[0