数据拆分方法、装置、设备、介质及程序产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760902A(43)申请公布日2021.12.07(21)申请号202110236743.9G06F16/28(2019.01)(22)申请日2021.03.03G06F8/36(2018.01)(71)申请人北京沃东天骏信息技术有限公司地址100176北京市经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人王思佳许海华王云博鲁大帅傅朋张师聪(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人虞浩臧建明(51)Int.Cl.G06F16/22(2019.01)G06F16/23(2019.01)G06F16/2458(2019.01)权利要求书3页说明书16页附图6页(54)发明名称数据拆分方法、装置、设备、介质及程序产品(57)摘要本申请提供了一种数据拆分方法、装置、设备、介质及程序产品，通过在待拆分数据库集群中，根据预设要求确定至少一个数据源节点；然后将待拆分数据库集群中的待拆分数据发送给数据源节点；并根据预设拆分方式对数据源节点中的待拆分数据进行拆分，以确定拆分数据；最后通过数据源节点将拆分数据发送到至少一个目标数据库集群的至少一个目标节点中。解决了现有技术中数据拆分涉及多方面改动，拆分代码复用性低，并且更改分表逻辑还需要同时在业务方修改查询代码的技术问题。达到了无分表逻辑变动的高效数据拆分，拆分代码复用性高，无需业务端改变查询代码的技术效果。CN113760902ACN113760902A权利要求书1/3页1.一种数据拆分方法，其特征在于，包括：在待拆分数据库集群中，根据预设要求确定至少一个数据源节点；将所述待拆分数据库集群中的待拆分数据发送给所述数据源节点；根据预设拆分方式对所述数据源节点中的所述待拆分数据进行拆分，以确定拆分数据，所述预设拆分方式保留了原有数据表的逻辑结构；通过所述数据源节点将所述拆分数据发送到目标数据库集群的目标节点中。2.根据权利要求1所述的数据拆分方法，其特征在于，所述待拆分数据库集群包括至少一个主从关系节点，所述主从关系节点包括：主节点以及依附于所述主节点的至少一个从节点，所述数据源节点包括所述主从关系节点中的至少一个所述从节点。3.根据权利要求2所述的数据拆分方法，其特征在于，所述根据预设拆分方式对所述数据源节点中的所述待拆分数据进行拆分，以确定拆分数据，包括：根据所述待拆分数据中预设关键字段对应的预设拆分参数，确定所述拆分数据。4.根据权利要求3所述的数据拆分方法，其特征在于，所述预设拆分参数包括：拆分区间范围以及在所述拆分区间范围内的至少一个拆分值，所述根据所述待拆分数据中预设关键字段对应的预设拆分参数，确定所述拆分数据，包括：保持数据表的表头结构不变，根据所述数据表中的所述预设关键字段对应的所述拆分区间范围以及所述拆分值，确定所述拆分数据，所述拆分数据具备与所述数据表相同的所述结构，所述待拆分数据中包括至少一个所述数据表。5.根据权利要求1所述的数据拆分方法，其特征在于，所述通过所述数据源节点将所述拆分数据发送到目标数据库集群的目标节点中，包括：为每个所述目标节点创建一个写入队列；利用读取协程从所述数据源节点中读取所述拆分数据，并插入所述写入队列中；利用写入协程从所述写入队列中依次将所述拆分数据复制到对应所述目标节点中。6.根据权利要求1‑5中任意一项所述的数据拆分方法，其特征在于，在所述将所述待拆分数据库集群中的待拆分数据发送给所述数据源节点之后，还包括：将所述数据源节点从所述待拆分数据库集群中摘除，以使所述数据源节点中的数据总量保持不变。7.根据权利要求6所述的数据拆分方法，其特征在于，在所述通过所述数据源节点将所述拆分数据发送到至少一个目标数据库集群的至少一个目标节点中之后，还包括：将所述数据源节点重新接入所述待拆分数据库集群中；将更新后的待拆分数据发送给所述数据源节点；根据预设拆分方式对所述待拆分数据再次进行拆分，以确定新的拆分数据；通过所述数据源节点，以过滤复制的方式将所述新的拆分数据发送给所述目标节点，所述过滤复制的方式用于滤除在所述目标节点中已经存在的拆分数据。8.根据权利要求7所述的数据拆分方法，其特征在于，所述预设要求包括：所述数据源节点为只读节点。9.根据权利要求8所述的数据拆分方法，其特征在于，所述只读节点为主从关系节点中只读类型的从节点。10.根据权利要求1‑5中任意一项所述的数据拆分方法，其特征在于，所述将所述待拆2CN113760902A权利要求书2/3页分数据库集群中的待拆分数据发送给所述数据源节点包括：根据所述待拆分数据的属性特征，将满足预设条件的第一待拆分数据按预设发送方式发送给所述数据源节点，所述待拆分