数据处理方法、装置、设备、可读存储介质及产品.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114612202A(43)申请公布日2022.06.10(21)申请号202210169113.9(22)申请日2022.02.23(71)申请人北京沃东天骏信息技术有限公司地址100176北京市经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人周志远丁玲(74)专利代理机构北京同立钧成知识产权代理有限公司11205专利代理师卢浩黄健(51)Int.Cl.G06Q40/00(2012.01)G06F16/2455(2019.01)G06F16/22(2019.01)G06F16/248(2019.01)权利要求书2页说明书9页附图5页(54)发明名称数据处理方法、装置、设备、可读存储介质及产品(57)摘要本公开实施例提供一种数据处理方法、装置、设备、可读存储介质及产品，方法包括：获取至少一个待分流数据信息以及待分流计算比例信息；根据待分流计算比例信息以及预设的配置比例，生成至少一个分流规则树状图；针对分流规则树状图中的各节点，根据节点对应的分流节点的标识信息对应的存储位置获取分流数据，按照分流比例以及配置比例对分流数据进行数据分流计算；根据各分流节点对应的分流结果生成分流结果模型。从而能够自动地对分流规则树状图中的节点进行数据分流计算，无需根据计算任务进行编码操作。通过根据分流结果生成分流结果模型，基于分流规则树状图的树状结构，从而后续在分流结果出现问题时，能够快速地定位异常计算节点。CN114612202ACN114612202A权利要求书1/2页1.一种数据处理方法，其特征在于，包括：获取至少一个待分流数据信息以及待分流计算比例信息，其中，所述待分流数据包括至少一个分流节点对应的标识信息以及存储位置，所述待分流计算比例信息包括各分流节点的分流比例；根据待分流计算比例信息以及预设的配置比例，生成至少一个分流规则树状图，所述分流规则树状图中的节点为分流节点对应的标识信息，所述分流规则树状图中的边为各分流节点对应的分流比例；针对所述分流规则树状图中的各节点，根据所述节点对应的分流节点的标识信息对应的存储位置获取分流数据，按照所述分流比例以及所述配置比例对分流数据进行数据分流计算，获得各分流节点对应的分流结果；根据各分流节点对应的分流结果生成分流结果模型。2.根据权利要求1所述的方法，其特征在于，所述按照所述分流比例以及所述配置比例对分流数据进行数据分流计算，获得各分流节点对应的分流结果，包括：针对每一分流节点，将分流数据与所述分流比例以及所述配置比例相乘，获得各分流节点对应的分流结果。3.根据权利要求1所述的方法，其特征在于，所述获取至少一个待分流数据信息以及待分流计算比例信息之后，还包括：根据所述待分流数据信息从各分流节点对应的存储位置获取对应的分流数据；根据所述分流数据采用键值存储的结构生成分流数据源模型；所述根据待分流计算比例信息以及预设的配置比例，生成至少一个分流规则树状图之后，还包括：针对所述分流规则树状图中的各节点，根据所述节点对应的分流节点的数据标识从所述分流数据源模型中获取与分流节点对应的分流数据。4.根据权利要求1所述的方法，其特征在于，所述根据各分流节点对应的分流结果生成分流结果模型，包括：根据各分流节点对应的分流结果采用键值存储的结构生成分流结果模型。5.根据权利要求1‑4任一项所述的方法，其特征在于，所述针对所述分流规则树状图中的各节点，根据所述节点对应的分流节点的标识信息对应的存储位置获取分流数据，按照所述分流比例以及所述配置比例对分流数据进行数据分流计算，获得各分流节点对应的分流结果，包括：获取预设的分流节点计算规则，其中，所述分流节点计算规则包括并发处理分流节点的线程/进程数以及各线程/进程所处理的作业的数量；将所述线程/进程数与作业的数量的乘积确定为当前并发处理分流节点的目标数量；并发对所述目标数量个分流节点进行数据分流计算，获得各分流节点对应的分流结果。6.根据权利要求5所述的方法，其特征在于，所述并发对所述目标数量个分流节点进行数据分流计算之前，还包括：按照所述分流规则树状图中分流节点的层级顺序确定所述目标数量个分流节点；根据所述分流规则树状图中分流节点的层级顺序对所述目标数量个分流节点进行排2CN114612202A权利要求书2/2页序。7.根据权利要求5所述的方法，其特征在于，所述并发对所述目标数量个分流节点进行数据分流计算，包括：针对各作业对应的目标分流节点，检测所述目标分流节点对应的父节点是否完成数据分流计算；若是，则根据所述目标分流节点的标识信息对应的存储位置获取目标分流数据，按照所述分流比例以及所述配置比例对目标分流数据进行数据分流计算，获得目标分流节点对应的分流结果；若