数据处理链路确定方法、系统、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113918638A(43)申请公布日2022.01.11(21)申请号202111234636.9(22)申请日2021.10.22(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人邓家胜(74)专利代理机构深圳国新南方知识产权代理有限公司44374代理人康雅文(51)Int.Cl.G06F16/25(2019.01)G06F16/182(2019.01)G06F16/18(2019.01)G06F16/901(2019.01)权利要求书2页说明书11页附图3页(54)发明名称数据处理链路确定方法、系统、设备及存储介质(57)摘要本发明提出一种数据处理链路确定方法、系统、设备及存储介质，该方法包括：将目标数据系统中的所有存储节点作为图的顶点；根据每两个存储节点之间的数据加工关系，确定所述图中每两个顶点之间的边，所述每两个存储节点与所述每两个顶点之间相对应；根据所述每两个存储节点之间的程序日志，确定所述边对应的权重；根据所述目标数据系统中源存储节点、所述目标数据系统中目标存储节点和所述图，确定从所述源存储节点到所述目标存储节点之间的最佳链路。本发明实施例可以更加直观、方便的从所有可行链路中筛选出最合理、最高效的数据处理链路。CN113918638ACN113918638A权利要求书1/2页1.一种数据处理链路确定方法，其特征在于，包括：将目标数据系统中的每一个存储节点作为图的顶点，所述图由顶点、边以及边对应的权重确定；对于所述图中每两个顶点以及所述目标数据系统中的每两个存储节点，根据每两个存储节点之间的数据加工关系，确定所述图中每两个顶点之间的边是否存在，所述每两个存储节点与所述每两个顶点之间相对应；若所述图中每两个顶点之间的边存在，根据所述每两个存储节点之间的程序日志，确定每两个顶点之间边对应的权重；根据所述目标数据系统中源存储节点、所述目标数据系统中目标存储节点和所述图，确定从所述源存储节点到所述目标存储节点之间的最佳链路。2.根据权利要求1所述的数据处理链路确定方法，其特征在于，所述根据每两个存储节点之间的数据加工关系，确定所述图中每两个顶点之间的边，包括；若所述每两个存储节点中的其中一个存储节点能通过程序将数据传输到另一存储节点，则确定所述图中每两个顶点之间存在连接的边；若其中一个存储节点不能通过程序将数据传输到另一存储节点，则确定所述图中每两个顶点之间不存在连接的边。3.根据权利要求1所述的数据处理链路确定方法，其特征在于，所述根据所述每两个存储节点之间的程序日志，确定所述边对应的权重，包括：根据所述每两个存储节点之间分布式文件系统的读取量、所述程序日志中记载的MR数据和所述程序日志中记载的CPU消耗量，按照预设权重计算公式，获取所述边对应的权重；其中，所述预设权重计算公式具体如下：Q＝HDFS*Q1+MR*Q2+CPU消耗*Q3；其中，Q表示权重，HDFS为所述分布式文件系统的读取量，MR表示所述程序日志中记载的存储数据，CPU消耗表示所述程序日志中记载的处理器消耗量，Q1表示第一预设系数，Q2表示第二预设系数，Q3表示第三预设系数。4.根据权利要求1所述的数据处理链路确定方法，其特征在于，所述根据所述目标数据系统中源存储节点、所述目标数据系统中目标存储节点和所述图，确定从所述源存储节点到所述目标存储节点之间的最佳链路，包括：根据所述源存储节点、所述目标存储节点和所述图，获取所述图中从所述源存储节点对应的源顶点到所述目标存储节点对应的目标顶点之间的所有可行链路，所述可行链路由若干边组成；根据每一可行链路中所有边对应的权重，确定每一可行链路对应的消耗代价；根据每一可行链路对应的消耗代价，获取所述最佳链路。5.根据权利要求4所述的数据处理链路确定方法，其特征在于，所述根据每一可行链路对应的消耗代价，获取所述最佳链路，包括：根据每一可行链路对应的消耗代价、每一可行链路的丢包率、每一可行链路的传输负载，获取所述最佳链路。6.根据权利要求4所述的数据处理链路确定方法，其特征在于，所述根据每一可行链路对应的消耗代价，获取所述最佳链路，包括：2CN113918638A权利要求书2/2页根据每一可行链路对应的消耗代价，按照最短路径法，获取所述最佳链路。7.根据权利要求4所述的数据处理链路确定方法，其特征在于，所述根据每一可行链路中所有边对应的权重，确定每一可行链路对应的消耗代价，包括：将每一可行链路中所有边对应的权重之和，作为每一可行链路对应的消耗代价。8.一种数据处理链路确定系统，其特征在于，包括：顶点模块，用于将目标数据系统中的每一个存储节点作为图的顶点，所述图由顶