数据处理方法及装置、存储介质、终端、服务端.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114265873A(43)申请公布日2022.04.01(21)申请号202210191813.8(22)申请日2022.03.01(71)申请人成都鲁易科技有限公司地址610095四川省成都市自由贸易试验区天府新区兴隆街道湖畔路西段99号附OL-10-202106013(72)发明人赵李杰田野何世伟严旭(74)专利代理机构北京中强智尚知识产权代理有限公司11448代理人黄耀威(51)Int.Cl.G06F16/2455(2019.01)G06F16/242(2019.01)权利要求书3页说明书13页附图5页(54)发明名称数据处理方法及装置、存储介质、终端、服务端(57)摘要本申请公开了一种数据处理方法及装置、存储介质、终端、服务端，涉及数据处理技术领域，主要目的在于改善现有基于单一处理器对数据进行集中处理而无法满足快速且庞大的数据处理需求的技术问题。包括：获取待处理的目标数据以及与所述目标数据匹配的任务信息；对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果。主要用于数据处理。CN114265873ACN114265873A权利要求书1/3页1.一种数据处理方法，其特征在于，包括：获取待处理的目标数据以及与所述目标数据匹配的任务信息；对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照任务处理拆分后的目标数据、任务信息进行数据处理；获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果。2.根据权利要求1所述的方法，其特征在于，所述对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端之前，所述方法还包括：结合至少一个执行节点处理端传输的节点资源信息确定节点状态，所述节点状态包括中心节点、执行节点；若所述节点状态为中心节点，则建立与服务端之间的数据通信，并接收所述服务端发送的任务处理拆分逻辑信息，所述任务处理拆分逻辑信息用于表征对不同任务信息拆分为至少两个子任务信息的逻辑内容。3.根据权利要求2所述的方法，其特征在于，所述对所述目标数据、所述任务信息进行任务处理拆分，并将任务处理拆分后的目标数据、任务信息分发至至少一个执行节点处理端包括：基于所述任务处理拆分逻辑对所述任务信息进行拆分，得到至少两个子任务信息；从所述目标数据中确定与所述子任务信息匹配的执行节点目标数据，并将所述执行节点目标数据、所述子任务信息分发至至少一个执行节点处理端，以使所述执行节点处理端按照接收到的子任务信息对匹配的执行节点目标数据进行数据处理，所述执行节点处理端的节点状态确定为执行节点。4.根据权利要求2所述的方法，其特征在于，所述获取所述执行节点处理端反馈的数据处理结果，并对所述数据处理结果进行任务处理聚合，输出任务处理聚合后的数据处理结果包括：接收至少一个执行节点处理端反馈的数据处理结果，并基于分发至所述执行节点处理端的子任务信息提取任务处理聚合逻辑信息，所述任务处理聚合逻辑信息用于表征按照任务信息对至少两个数据处理结果进行聚合的逻辑内容；按照所述任务处理聚合逻辑信息对所述数据处理结果进行任务处理聚合，并将任务处理聚合后的数据处理结果输出至服务端，以使服务端进行可视化输出。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：构建与至少一个节点处理端之间的网络结构，并通过所述网络结构与所述节点处理端之间进行节点资源信息的传输，以获取所述节点处理端所对应的节点资源信息并确定节点状态；若所述节点状态为执行节点，则基于网络结构传输节点状态的确认信息以及节点资源信息，以作为执行节点处理端进行数据处理。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：若确定所述节点状态为中心节点，且检测到数据通信传输失败，则向所述执行节点处2CN114265873A权利要求书2/3页理端发送中心节点确认指令，以使重新确定中心节点服务端。7.根据权利要求2所述的方法，其特征在于，所述结合至少一个执行节点处理端传输的节点资源信息确定节点状态包括：解析全部节点资源信息中的内存资源、环境资源、接口资源至少一项；若当前节点处理端的所述内存资源、所述环境资源、所述接口资源至少一项符合预设处理条件，则将当前节点处理端的节点状态确定为中心节点。8.一种