基于类图神经网络的图像分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115995024A(43)申请公布日2023.04.21(21)申请号202310279804.9(22)申请日2023.03.22(71)申请人成都理工大学地址610000四川省成都市二仙桥东三路1号(72)发明人陈兆熙(74)专利代理机构成都众恒智合专利代理事务所(普通合伙)51239专利代理师张洪(51)Int.Cl.G06V10/764(2022.01)G06V10/82(2022.01)G06V10/74(2022.01)G06N3/0464(2023.01)G06N3/08(2023.01)权利要求书1页说明书4页附图4页(54)发明名称基于类图神经网络的图像分类方法(57)摘要本发明公开了一种基于类图神经网络的图像分类方法，涉及图像数据处理技术领域，包括：将图片分割成若干单元图，获取各单元图的图像掩码；对于每个单元图，利用获得的图像掩码提取单元图像特征；计算各单元图之间的距离，将距离小于边分配阈值的两个单元图之间均分配一条边；利用各单元图的单元图像特征形成节点集，利用所有分配的边形成边集，利用节点集和边集构建图结构；构建图卷积神经网络分类模型；将图结构的节点特征输入图神经分类网络模型，输出得到图像分类结果。本方法在学习图片信息时，除了能学习到像素邻域的信息，还能学习到卷积核之外的信息，能获得具有代表性的节点特征作为图结构的表达，通过图卷积模块使节点能融合多尺度信息。CN115995024ACN115995024A权利要求书1/1页1.一种基于类图神经网络的图像分类方法，其特征在于，包括以下步骤：S1、将图片分割成若干单元图，获取各单元图的图像掩码；S2、对于每个单元图，利用获得的图像掩码提取单元图像特征；S3、计算各单元图之间的距离，将距离小于边分配阈值的两个单元图之间均分配一条边；S4、利用各单元图的单元图像特征形成节点集，利用所有分配的边形成边集，利用节点集和边集构建图结构；S5、构建图卷积神经网络分类模型；S6、将图结构的节点特征输入图神经分类网络模型，输出得到图像分类结果。2.根据权利要求1所述基于类图神经网络的图像分类方法，其特征在于，步骤S2中，单元图像特征为前/背景平均差异、图强度标准偏差、图强度偏度、图强度平均熵、灰度共生矩阵的差异、灰度共生矩阵的同质性、灰度共生矩阵的角二阶矩、偏心率、面积、轴的最大值、轴的最小值、周长、稳定性、方向以及中心坐标中的三种以上的组合。3.根据权利要求1所述基于类图神经网络的图像分类方法，其特征在于，步骤S3中，边分配阈值为80像素。4.根据权利要求1所述基于类图神经网络的图像分类方法，其特征在于，步骤S4中，图结构表示为G=(V,E)，V为节点特征矩阵，E为边集，对于每个节点j，其具有f维的节点f特征xj∈R，用矩阵表示Xn×f，其中n表示节点数，ei,j表示节点i和j的边，属于集合E。5.根据权利要求4所述基于类图神经网络的图像分类方法，其特征在于，步骤S5中，图卷积神经网络分类模型包括图卷积模块、图池化模块和全连接网络。6.根据权利要求5所述基于类图神经网络的图像分类方法，其特征在于，图池化模块包括分层池化和全局池化，在每次图卷积之后进行分层池化，在分层池化之后再进行全局池化。7.根据权利要求6所述基于类图神经网络的图像分类方法，其特征在于，图卷积模块、全局池化模块和分层池化模块均有三级；第一级图卷积模块的输入侧为整个图卷积神经网络分类模型的输入侧；第一级图卷积模块的输出侧连接第一级分层池化模块的输入侧；第一级分层池化模块的输出侧连接第二级图卷积模块的输入侧和第一级全局池化模块的输入侧；第二级图卷积模块的输出侧连接第二级分层池化模块的输入侧；第二级分层池化模块的输出侧连接第三级图卷积模块的输入侧和第二级全局池化模块的输入侧；第三级图卷积模块的输出侧连接第三级分层池化模块的输入侧；第三级分层池化模块的输出侧连接第三级全局池化模块的输入侧；三级全局池化模块的输出侧均连接全连接网络的输入侧，全连接网络的输出侧作为整个图卷积神经网络分类模型的输出侧。8.根据权利要求6所述基于类图神经网络的图像分类方法，其特征在于，图的节点特征计算公式为：Z=δ(SAGEConv(V,B))，其中，V为节点特征矩阵，B是邻接矩阵，SAGEConv是GraphSAGE的卷积运算符。2CN115995024A说明书1/4页基于类图神经网络的图像分类方法技术领域[0001]本发明涉及图像数据处理技术领域，具体而言，涉及一种基于类图神经网络的图像分类方法。背景技术[0002]随着深度学习模型、优化算法以及高性能GPU的出现，使得各领域的计算机辅助研究得到了快速发展。在过去几年中，深度学习在各种视觉理解任务上取得了令人印象深刻的成果