基于语义引导的多层结构的半监督节点分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115935256A(43)申请公布日2023.04.07(21)申请号202211569271.X(22)申请日2022.12.08(71)申请人南京审计大学地址211899江苏省南京市浦口区雨山西路86号(72)发明人钱有程(74)专利代理机构南京理工信达知识产权代理有限公司32542专利代理师刘莎(51)Int.Cl.G06F18/241(2023.01)G06F17/16(2006.01)G06N3/08(2023.01)G06N3/0464(2023.01)权利要求书2页说明书9页附图2页(54)发明名称基于语义引导的多层结构的半监督节点分类方法(57)摘要本发明公开了一种基于语义引导的多层结构的半监督节点分类方法，属于半监督节点分类技术领域。该方法包括：建立具有语义引导的局部层次的图结构和具有节点长范围依赖关系的全局层次的结构模型。在局部层次的图结构学习中，自适应的融合拓扑和节点语义相似性图结构，利用图卷积网络进行多层聚合学习节点的局部嵌入；在全局层次的结构学习中，基于轻量级的变换器编码器网络学习节点对之间的长范围依赖关系，获得节点的综合表示；基于最终节点表示进行分类得到每个节点的分类标签，作为半监督节点分类的结果。本发明中基于语义引导的分层结构的半监督节点分类方法能够在基准数据集上兼顾分类的性能和复杂度的简约。CN115935256ACN115935256A权利要求书1/2页1.基于语义引导的多层结构的半监督节点分类方法，其特征在于，该方法包括以下步骤：建立具有语义引导的局部层次的图结构，得到含有语义关联的节点局部嵌入；建立具有节点长范围依赖关系的全局层次的结构模型，以含有语义关联的节点局部嵌入为输入，获得节点的综合表示；建立分类模型，以节点的综合表示为输入，获得节点分类结果；其中分类模型包括级联的线性层和分类器。2.根据权利要求1所述的基于语义引导的多层结构的半监督节点分类方法，其特征在于，局部层次的图结构的建立中：首先，基于节点的拓扑图构造语义相似图；然后，对节点的拓扑图和语义相似图进行融合，得到局部层次的结构图；最后，采用图卷积网络GCN对局部层次的结构图进行节点聚合，得到含有语义关联的节点局部嵌入。3.根据权利要求2所述的基于语义引导的多层结构的半监督节点分类方法，其特征在于，引入分数向量自适应地融合节点的拓扑图和语义相似图，得到局部层次的结构图，其中第l层的融合图矩阵P(l)表示为：式中，A是节点的拓扑图邻接矩阵，D是A的度矩阵，A(k)是节点的K‑hop近邻的邻接矩阵，(l)nD(k)是A(k)的度矩阵，u∈R是用来平衡A与A(k)的分数向量，a⊙B表示向量a的每个元素与矩阵B的对应行相乘。4.根据权利要求3所述的基于语义引导的多层结构的半监督节点分类方法，其特征在于，u(l)通过以下公式计算：式中，H(l‑1)为第l‑1隐层表示矩阵，和均为将H(l‑1)变换为分数向量的变换矩阵，σ(·)为激活函数，n为节点数。5.根据权利要求1所述的基于语义引导的多层结构的半监督节点分类方法，其特征在于，采用图卷积网络GCN对局部层次的结构图进行节点聚合，得到含有语义关联的节点局部嵌入式中，P(l+1)、P(l)分别为局部层次的结构图中第l+1层、第l层的融合图矩阵，为P(l+1)的度矩阵，W(l)为第l层的权重矩阵，H(l)为第l层隐层表示矩阵，H(l)的表达式为：式中，为P(l)的度矩阵，Relu(·)为激活函数。6.根据权利要求1所述的基于语义引导的多层结构的半监督节点分类方法，其特征在于，全局层次的结构模型为由级联的N个相同的层组成的改进的Transformer编码器，每层有两个级联的子模块，第一个子模块是一个多头注意机制MHA，第二个子模块是位置全连接前馈网络FeedForward。2CN115935256A权利要求书2/2页7.根据权利要求6所述的基于语义引导的多层结构的半监督节点分类方法，其特征在于，第一个子模块采用多头注意力机制MHA，计算节点之间的注意力值并进行聚合，其中：每一头的注意力LWA表示为：Fout＝QMvs×d式中，Mk,Mv∈R为两种不同的共享嵌入单元，分别作为注意力机制中的键值Key,值项Value；为含有语义关联的节点局部嵌入，作为注意力机制中的查询Query；Norm(.)为标准化函数，Q是由输入推断出的注意力映射，Fout是按照Q的大小聚合邻域的信息；多头注意力MHA表示为：hi＝LWA(Fi,Mk,Mv)n×(d/t)式中，Fi∈R是变换维度后的矩阵，即hi是第i个头注意力映射，t为注意力的头数，Concat(.)是连接操作；Wo是线性变换矩阵。8.根据权利要求7所述的基于语义引导的多层结构的半监督节点分类方法