数据处理方法、装置、电子设备、系统和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760532A(43)申请公布日2021.12.07(21)申请号202110075368.4G06F16/22(2019.01)(22)申请日2021.01.20G06F16/27(2019.01)(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人冯志恒周海阳邓朝昀杨双双石晓天(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06F9/50(2006.01)G06F16/182(2019.01)权利要求书2页说明书10页附图3页(54)发明名称数据处理方法、装置、电子设备、系统和存储介质(57)摘要本发明实施例公开了一种数据处理方法、装置、电子设备、系统和存储介质，该数据处理方法包括：从目标服务器集群中确定出数据分片存储的第一目标服务器；生成该数据分片对应的任务，并为该任务获取分布式锁；在成功获取分布式锁时，执行该任务以将该数据分片写入第一目标服务器，本发明实施例能够避免任务并发度过大时过度占用集群资源而产生异常。CN113760532ACN113760532A权利要求书1/2页1.一种数据处理方法，其特征在于，包括：从目标服务器集群中确定出数据分片存储的第一目标服务器；生成所述数据分片对应的任务，并为所述任务获取分布式锁；在成功获取所述分布式锁时，执行所述任务以将所述数据分片写入所述第一目标服务器。2.根据权利要求1所述的数据处理方法，其特征在于，所述从目标服务器集群中确定出数据分片存储的第一目标服务器，包括：根据所述目标服务器集群中的服务器数量对所述数据分片的标识信息进行哈希取模运算，得到哈希取模值；根据所述哈希取模值从所述目标服务器集群中确定出所述第一目标服务器。3.根据权利要求1或2所述的数据处理方法，其特征在于，在从目标服务器集群中确定出数据分片存储的第一目标服务器之前，还包括：从源服务器获取源数据；将所述源数据分割成所述数据分片。4.根据权利要求1所述的数据处理方法，其特征在于，所述为所述任务获取分布式锁，包括：为所述任务确定锁标识；将所述锁标识写入Redis服务器。5.根据权利要求4所述的数据处理方法，其特征在于，所述为所述任务确定锁标识，包括：将所述任务的标识信息和所述第一目标服务器的标识信息组合，得到所述锁标识。6.根据权利要求4或5所述的数据处理方法，其特征在于，在执行所述任务以将所述数据分片写入所述第一目标服务器之后，还包括：删除所述Redis服务器中的所述锁标识。7.根据权利要求1所述的数据处理方法，其特征在于，在执行所述任务以将所述数据分片写入所述第一目标服务器之后，还包括：确定所述数据分片是否成功写入所述第一目标服务器；在所述数据分片没有成功写入所述第一目标服务器时，重复执行所述任务。8.根据权利要求7所述的数据处理方法，其特征在于，所述在所述数据分片没有成功写入所述第一目标服务器时，重复执行所述任务，包括：在所述数据分片没有成功写入所述第一目标服务器时，确定所述任务的执行次数是否达到预设次数阈值；在所述任务的重复执行次数未达到所述预设次数阈值时，重复执行所述任务。9.根据权利要求8所述的数据处理方法，其特征在于，所述方法还包括：在所述任务的重复执行次数达到所述预设次数阈值、且所述数据分片仍没有成功写入所述第一目标服务器时，将所述数据分片写入所述目标服务器集群中的第二目标服务器。10.一种数据处理装置，其特征在于，包括：确定模块，用于从目标服务器集群中确定出数据分片存储的第一目标服务器；获取模块，用于生成所述数据分片对应的任务，并为所述任务获取分布式锁；2CN113760532A权利要求书2/2页执行模块，用于在成功获取所述分布式锁时，执行所述任务以将所述数据分片写入所述第一目标服务器。11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9中任一所述的数据处理方法。12.一种数据处理系统，其特征在于，包括源服务器、目标服务器集群、Redis服务器以及用于执行如权利要求1至9中任一所述的数据处理方法的电子设备。13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至9中任一所述的数据处理方法。3CN113760532A说明书1/10页数据处理方法、装置、电子设备、系统和存储介质技术领域[0001]本发明涉及计算机技术，尤其涉及一种数据处理方法、装置、电子设备、系统和存储介质。背景技术[0002]Clickhouse作为一