几何神经网络模型构建方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116011515A(43)申请公布日2023.04.25(21)申请号202211671186.4(22)申请日2022.12.26(71)申请人人民网股份有限公司地址100026北京市西城区新街口外大街28号B座234号(72)发明人崔向阳闫洲杨松张铮(74)专利代理机构北京市浩天知识产权代理事务所(普通合伙)11276专利代理师宋菲(51)Int.Cl.G06N3/0464(2023.01)G06V10/44(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)权利要求书2页说明书16页附图14页(54)发明名称几何神经网络模型构建方法、装置、设备及存储介质(57)摘要本申请公开了一种几何神经网络模型构建方法、装置、设备及存储介质。其中，所述方法包括：根据预设模型确定神经网络的连接关系、节点、连边和连边方向；其中，节点用于对数据进行特征处理；连边表征神经网络中的数据流；连边方向表征数据的传递方向；根据节点对数据的特征处理确定节点模型；其中，节点模型包含预设个卷积层；根据神经网络的连接关系与节点模型，构建几何神经网络模型；其中，几何神经网络模型包括提取图像的低层次特征、神经网络中的特征重用、特征通道线性组合、构建图像的全局特征、网络正则化中的至少一部分功能实现。本方案将具有自然特征的预设模型与神经网络结合，形成具有自然网络特征的几何神经网络模型。CN116011515ACN116011515A权利要求书1/2页1.一种几何神经网络模型构建方法，其特征在于，包括：根据预设模型确定神经网络的连接关系、节点、连边和连边方向；其中，所述节点用于对数据进行特征处理；所述连边表征所述神经网络中的数据流；所述连边方向表征所述数据的传递方向；根据所述节点对所述数据的特征处理确定节点模型；其中，所述节点模型包含预设个卷积层；根据所述神经网络的连接关系与所述节点模型，构建几何神经网络模型；其中，所述几何神经网络模型包括提取图像的低层次特征、神经网络中的特征重用、特征通道线性组合、构建图像的全局特征、网络正则化中的至少一部分功能实现。2.根据权利要求1所述的方法，其特征在于，所述根据预设模型确定神经网络的连接关系，包括：将所述神经网络的节点分布在圆环上，且每个节点具有节点参数，所述节点参数服从幂律分布；根据两节点在圆环上的距离及节点参数确定所述两节点间的连接概率。3.根据权利要求1所述的方法，其特征在于，所述特征处理包括特征聚合、特征变换和特征分发中的至少一个处理过程；其中，所述特征聚合用于融合输入节点的多个数据，对输入节点的特征进行加法运算实现多组输入数据的融合；其中，所述特征变换用于对融合后的数据进行特征提取；其中，所述特征分发用于将所述节点处理后的特征信息沿连边传递给后继节点。4.根据权利要求1所述的方法，其特征在于，所述根据预设模型确定神经网络的连边方向，包括：确定所述连边方向为从具有较小节点参数值的节点指向具有较大节点参数值的节点，并将所述神经网络中入度为零的节点作为输入节点，将出度为零的节点作为输出节点，以形成一个具有输入输出的有向神经网络结构。5.根据权利要求1所述的方法，其特征在于，所述节点模型包含三个卷积层，其中，第一个卷积层用于对节点的聚合特征进行处理，并提升特征的通道数量；第二个卷积层为深度卷积，用于提取图像的空间特征，同时减小模型的参数数量；第三个卷积层用于恢复原始特征的通道维度。6.根据权利要求5任一项所述的方法，其特征在于，在所述第一个卷积层后，采用轻量级的通道注意力机制对不同通道进行重要性加权；在第一个卷积层和第二个卷积层采用批量归一化与非线性激活；在第三个卷积层不采用激活函数。7.根据权利要求1‑6任一项所述的方法，其特征在于，所述方法还包括：基于预设训练数据集采用交叉熵损失函数及小批量随机梯度下降方法对所述几何神经网络模型进行训练；并在训练过程中采用半周期余弦衰减的调整策略与线性热身策略逐步调整训练过程中的学习率。8.一种几何神经网络模型构建装置，其特征在于，包括：连接关系确定模块，用于根据预设模型确定神经网络的连接关系、节点、连边和连边方2CN116011515A权利要求书2/2页向；其中，所述节点用于对数据进行特征处理；所述连边表征所述神经网络中的数据流；所述连边方向表征所述数据的传递方向；节点模型确定模块，用于根据所述节点对所述数据的特征处理确定节点模型；其中，所述节点模型包含预设个卷积层；几何神经网络模型构建模块，用于根据所述神经网络的连接关系与所述节点模型，构建几何神经网络模型；其中，所述几何神经网络模型包括提取图像的低层次特征、神经网络中的特征重用、特征通道线性组合、构建图像的全局特征、网络正则化中的