数据处理方法、数据采集系统、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113672665A(43)申请公布日2021.11.19(21)申请号202110948632.0(22)申请日2021.08.18(71)申请人OPPO广东移动通信有限公司地址523860广东省东莞市长安镇乌沙海滨路18号(72)发明人夏舰波谢朝山(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人邵泳城(51)Int.Cl.G06F16/2458(2019.01)G06F11/30(2006.01)权利要求书2页说明书13页附图8页(54)发明名称数据处理方法、数据采集系统、电子设备和存储介质(57)摘要本申请公开了一种数据处理方法、数据处理系统、电子设备和存储介质。本申请实施方式的数据处理方法包括：获取多个目标节点和多个抓取节点；基于数据库类型，对多个目标节点和多个抓取节点进行分类；对同类别的多个抓取节点进行负载排序；根据排序结果为抓取节点分配同类别的目标节点，以使多个抓取节点之间的负载均衡。本申请中的数据处理方法，对获取到的多个目标节点和抓取节点，按照数据库类型，将生成同一数据库的指标数据的目标节点分为一类、将抓取同一数据库的指标数据的抓取节点分为一类，并对同类别的多个抓取节点进行负载排序，然后按照排序结果为抓取节点分配同类别的目标节点，保证抓取节点的负载均衡，提高抓取数据的稳定性。CN113672665ACN113672665A权利要求书1/2页1.一种数据处理方法，用于数据采集系统，其特征在于，所述数据处理方法包括：获取多个目标节点和多个抓取节点；基于数据库类型，对多个所述目标节点与多个所述抓取节点进行分类，所述目标节点能够提供对应所述数据库类型的时序数据，所述抓取节点能够抓取对应所述数据库类型的所述目标节点提供的时序数据；对同类别的多个所述抓取节点进行负载排序；根据排序结果为所述抓取节点分配同类别的所述目标节点，以使多个所述抓取节点之间的负载均衡。2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：向注册中心发送分配完成的所述抓取节点与所述目标节点的对应关系，以使所述抓取节点能够从所述注册中心获取所述对应关系，并根据所述对应关系抓取对应的所述目标节点的时序数据。3.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：重新获取多个目标节点和多个抓取节点；在所述目标节点和所述抓取节点中的至少一个发生变化的情况下，更新所述抓取节点与所述目标节点的所述对应关系；在所述目标节点和所述抓取节点均未发生变化的情况下，维持原有的所述对应关系。4.根据权利要求3所述的数据处理方法，其特征在于，所述数据处理方法包括：获取上次计算同类别的所有所述目标节点的信息获得的第一哈希值，所述目标节点的信息包括节点地址、节点类型和所述数据库类型；计算当前的同类别的所有所述目标节点的信息并得到第二哈希值；在所述第一哈希值与所述第二哈希值不同的情况下，确认所述目标节点发生变化。5.根据权利要求3所述的数据处理方法，其特征在于，所述数据处理方法包括：。获取上次计算同类别的所有所述抓取节点的信息获得的第三哈希值，所述抓取节点的信息包括节点地址、节点类型和所述数据库类型；计算当前的同类别的所有所述抓取节点的信息并得到第四哈希值；在所述第三哈希值与所述第四哈希值不同的情况下，确认所述抓取节点发生变化。6.根据权利要求1所述的数据处理方法，其特征在于，所述根据排序结果为所述抓取节点分配同类别的所述目标节点，包括：优先为负载低的所述抓取节点分配同类别的所述目标节点。7.根据权利要求1所述的数据处理方法，其特征在于，所述根据排序结果为所述抓取节点分配同类别的所述目标节点，包括：在负载最大的所述抓取节点与负载最小的所述抓取节点之间的负载差异大于预设范围的情况下，响应于命令，对所述抓取节点重新分配同类别的所述目标节点。8.一种数据采集系统，其特征在于，包括：目标节点；抓取节点，用于抓取所述目标节点提供的时序数据；调度节点，用于执行权利要求1‑7任一项中所述的数据处理方法。9.根据权利要求8所述的数据采集系统，其特征在于，所述调度节点至少包括一个主节2CN113672665A权利要求书2/2页点和一个从节点，在所述主节点发生故障的情况下，所述从节点能够接替所述主节点的工作。10.根据权利要求8所述的数据采集系统，其特征在于，所述数据采集系统还包括注册中心，所述目标节点、所述抓取节点和所述调度节点能够与所述注册中心进行信息交互，所述调度节点能够在每次获取所述目标节点与所述抓取节点后生成快照文件，以使自身和所述注册中心通过所述快照文件恢复数据。11.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理