一种鲁棒性的图神经网络架构搜索方法及产品.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115841379A(43)申请公布日2023.03.24(21)申请号202211625336.8(22)申请日2022.12.16(71)申请人清华大学地址100084北京市海淀区清华园1号(72)发明人朱文武王鑫谢贝妮(74)专利代理机构北京润泽恒知识产权代理有限公司11319专利代理师苟冬梅(51)Int.Cl.G06Q40/03(2023.01)G06F18/241(2023.01)G06F18/2135(2023.01)G06N3/04(2023.01)G06N3/08(2023.01)权利要求书3页说明书18页附图2页(54)发明名称一种鲁棒性的图神经网络架构搜索方法及产品(57)摘要本申请实施例涉及机器学习领域，公开了一种鲁棒性的图神经网络架构搜索方法及产品，包括：获取输入信息，输入信息包括干净图的第一输入信息以及干净图对应的模拟扰动图的第二输入信息；将输入信息输入鲁棒搜索空间中的所有候选架构，得到在每个候选架构上输入信息对应的节点表征，候选架构包含用于降低所述输入信息中不同类型的扰动信息的影响的防御模块；根据在候选架构上输出的节点表征，获取每个候选架构的评价值，并基于评价值，确定最优架构。本申请可以自动搜索出适用于不同应用场景的鲁棒性图神经网络的最优架构，提升从搜索空间中确定的最优架构在受到扰动图攻击时的鲁棒性，减弱甚至消除图神经网络在受到对抗攻击时的性能下降问题。CN115841379ACN115841379A权利要求书1/3页1.一种鲁棒性的图神经网络架构搜索方法，其特征在于，包括：获取输入信息，所述输入信息包括干净图的第一输入信息以及所述干净图对应的模拟扰动图的第二输入信息；将所述输入信息输入鲁棒搜索空间中的所有候选架构，得到在每个候选架构上所述输入信息对应的节点表征，所述候选架构包含防御模块，所述防御模块用于降低所述输入信息中不同类型的扰动信息的影响；根据在所述候选架构上所述输入信息对应的节点表征，获取所述每个候选架构的评价值；基于所述每个候选架构的所述评价值，确定最优架构。2.根据权利要求1所述的鲁棒性的图神经网络架构搜索方法，其特征在于，所述每个候选架构包括多个消息传递层，在所述每个候选架构中的第l消息传递层的第l防御模块为等同模块的情况下，按照如下方式对第l‑1消息传递层输出的第l‑1目标节点信息进行处理：获取所述第l‑1目标节点信息中的第l‑1邻接矩阵和所述第l‑1邻接矩阵对应的第l‑1掩码矩阵；将所述第l‑1掩码矩阵作为第l掩码矩阵，l≥2，所述第l掩码矩阵按照如下公式获取：M()＝M(‑1)其中，M()为所述第l掩码矩阵；M(‑1)为所述第l‑1掩码矩阵。3.根据权利要求1所述的鲁棒性的图神经网络架构搜索方法，其特征在于，所述每个候选架构包括多个消息传递层，在所述每个候选架构中的第l消息传递层的第l防御模块为低秩近似模块的情况下，按照如下方式对第l‑1消息传递层输出的第l‑1目标节点信息进行处理：获取所述第l‑1目标节点信息中的第l‑1邻接矩阵和所述第l‑1邻接矩阵对应的第l‑1掩码矩阵；对所述第l‑1掩码矩阵进行奇异值分解，得到第l掩码矩阵，l≥2，所述第l掩码矩阵按照如下公式获取：其中，M()为所述第l掩码矩阵；为所述第l‑1邻接矩阵进行奇异值分解后取前k个奇异值对应的左奇异矩阵；为所述第l‑1邻接矩阵进行奇异值分解后取前k个奇异值对应的奇异值矩阵；为所述第l‑1邻接矩阵进行奇异值分解后取前k个奇异值对应的右奇异矩阵。4.根据权利要求1所述的鲁棒性的图神经网络架构搜索方法，其特征在于，所述每个候选架构包括多个消息传递层，在所述每个候选架构中的第l消息传递层的第l防御模块为节点相似模块的情况下，按照如下方式对第l‑1消息传递层输出的第l‑1目标节点信息进行处理：获取所述第l‑1目标节点信息中的第l‑1邻接矩阵和所述第l‑1邻接矩阵对应的第l‑1掩码矩阵；将所述第l‑1邻接矩阵中的节点对的相似度小于相似度阈值的边删除，得到第l掩码矩2CN115841379A权利要求书2/3页阵，l≥2，所述第l掩码矩阵中节点对之间的边的掩码值，按照如下公式获取：其中，为所述第l掩码矩阵中节点对ij之间的边的掩码值；为第l‑1邻接矩阵节点对ij之间的边的值；Jij为节点对ij之间的相似系数；τ为所述相似度阈值。5.根据权利要求1所述的鲁棒性的图神经网络架构搜索方法，其特征在于，所述每个候选架构包括多个消息传递层，在所述每个候选架构中的第l消息传递层的第l防御模块为邻居重要性估计模块的情况下，按照如下方式对第l‑1消息传递层输出的第l‑1目标节点信息进行处理：获取所述第l‑1目标节点信息中的第l‑1邻接矩阵和所述第l‑1邻接矩阵对应的第l‑1掩码