一种基于图数据的分布式计算方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113900786A(43)申请公布日2022.01.07(21)申请号202111183041.5(22)申请日2021.10.11(71)申请人国网电子商务有限公司地址100053北京市西城区广安门内大街311号申请人国网电商科技有限公司(72)发明人周晶孙喜民郑斌李鑫孙博(74)专利代理机构北京集佳知识产权代理有限公司11227代理人吴晓静(51)Int.Cl.G06F9/48(2006.01)G06F16/27(2019.01)G06F16/901(2019.01)权利要求书2页说明书10页附图2页(54)发明名称一种基于图数据的分布式计算方法及装置(57)摘要本发明公开了一种基于图数据的分布式计算方法及装置，包括：在接收到对当前图数据的计算请求时，将所述当前图数据传递给预设的图数据计算模型，其中，所述预设的图数据计算模型基于BSP计算模型和GAS计算模型进行构建；所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算，其中，所述目标计算模式为同步计算模式、异步计算模式和混合计算模式中的一种。上述过程中，所述预设的图计算模型中基于BSP模型实现对每个超步的计算，基于GAS模型实现对每个超步中计算过程的进一步细分，增加了模型计算的并发性和可扩展性，基于目标计算模式进行计算，目标计算模式可以有不同的选择，进一步增加了计算过程的可扩展性。CN113900786ACN113900786A权利要求书1/2页1.一种基于图数据的分布式计算方法，其特征在于，包括：在接收到对当前图数据的计算请求时，将所述当前图数据传递给预设的图数据计算模型，其中，所述预设的图数据计算模型基于BSP计算模型和GAS计算模型进行构建；所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算，其中，所述目标计算模式为同步计算模式、异步计算模式和混合计算模式中的一种。2.根据权利要求1所述的方法，其特征在于，所述预设的图数据计算模型基于BSP计算模型和GAS计算模型进行构建包括：获取所述BSP计算模型中的各个超步，其中，每个超步包括：计算过程、通讯过程和栅栏同步过程；将所述计算过程依据所述GAS计算模型划分为负责提取消息的信息收集阶段，负责基于收集消息进行本地处理的应用节点和负责发送新消息的分发阶段。3.根据权利要求1所述的方法，其特征在于，在所述目标计算模式为同步计算模式的情况下，所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算，包括：采用同步的控制和数据流将所述当前图数据基于迭代执行；当前顶点的顶点值基于上一轮领接顶点值进行计算；将所述顶点值基于消息同步给备份节点。4.根据权利要求1所述的方法，其特征在于，在所述目标计算模式为混合计算模式的情况下，所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算，包括：遍历所述预设计算模型中被激活的顶点，基于同步模式的顶点调度对所述被激活的顶点进行计算；在计算过程中采用异步消息传递以使当前被激活的顶点基于领接顶点值进行分布式计算。5.根据权利要求1所述的方法，其特征在于，在所述目标计算模式为一步计算模式的情况下，所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算，包括：采用异步的控制和数据流，将所述当前图数据进行异步传送；所述预设的图数据计算模型的被激活的顶点接收的所述当前图数据存储到分布式调度队列；基于所述分布式调度队列进行分布式计算。6.一种基于图数据的分布式计算装置，其特征在于，包括：传递模块，用于在接收到对当前图数据的计算请求时，将所述当前图数据传递给预设的图数据计算模型，其中，所述预设的图数据计算模型基于BSP计算模型和GAS计算模型进行构建；计算模块，用于所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算，其中，所述目标计算模式为同步计算模式、异步计算模式和混合计算模式中的一种。7.根据权利要求6所述的装置，其特征在于，所述传递模块中所述预设的图数据计算模2CN113900786A权利要求书2/2页型基于BSP计算模型和GAS计算模型进行构建包括：获取单元，用于获取所述BSP计算模型中的各个超步，其中，每个超步包括：计算过程、通讯过程和栅栏同步过程；划分单元，用于将所述计算过程依据所述GAS计算模型划分为负责提取消息的信息收集阶段，负责基于收集消息进行本地处理的应用节点和负责发送新消息的分发阶段。8.根据权利要求6所述的装置，其特征在于，在所述目标计算模式为同步计算模式的情况下，所述计算模块包括：迭代单元，用于采用同步的控制和数据流将所述当前图数据基于迭代执行；第一计算单元，用于当前顶点的顶点值基于上一轮领接顶点值进行计