数据存储处理方法、装置、处理系统以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111723073A(43)申请公布日2020.09.29(21)申请号201910207044.4(22)申请日2019.03.19(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人王大开(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人方亮(51)Int.Cl.G06F16/21(2019.01)G06F16/22(2019.01)G06F16/23(2019.01)权利要求书3页说明书10页附图7页(54)发明名称数据存储处理方法、装置、处理系统以及存储介质(57)摘要本公开提供了一种数据存储处理方法、装置、处理系统以及存储介质，涉及计算机技术领域，其中方法包括：将存储节点配置信息映射到多级一致性哈希环中，监听分布式集群中的监控节点发布的数据同步消息对多级一致性哈希环进行更新处理；根据与待存储数据相对应的存储哈希值从多级一致性哈希环中获得存储节点连接信息。本公开的方法、装置、处理系统以及存储介质，可以结合增量和一致性哈希扩容的两种优点,通过修改与数据库分片信息相对应的优先级，将存储数据引导到性能好的服务器上；在达到写入上限的情况下可以避免继续写入；能够实现数据迁移而且对用户无感知，能够保证配置更新分发的及时性。CN111723073ACN111723073A权利要求书1/3页1.一种数据存储处理方法，包括：获取存储节点配置信息，将所述存储节点配置信息映射到多级一致性哈希环中；监听分布式集群中的监控节点发布的数据同步消息，从接收到的所述数据同步消息获得与所述存储节点配置信息相对应的配置更新信息；根据所述配置更新信息对所述多级一致性哈希环进行更新处理；获得与待存储数据相对应的存储哈希值，根据所述存储哈希值从所述多级一致性哈希环中获得存储节点连接信息，用以使用所述存储节点连接信息对待存储数据进行存储处理。2.如权利要求1所述的方法，所述获取存储节点配置信息包括：从所述分布式集群中的配置存储节点获得层次化的所述存储节点配置信息并在本地存储；其中，所述存储节点配置信息包括：数据库分组信息、与所述数据库分组对应的起始哈希值和终止哈希值；所述数据库分组信息包括：数据分片信息、与所述数据库分片信息相对应的优先级；所述数据分片信息包括：分片号、与所述分片号相对应的数据库连接信息。3.如权利要求2所述的方法，还包括：使用树形数据结构存储所述存储节点配置信息；其中，所述树状存储结构包括：TreeMap。4.如权利要求2所述的方法，所述根据所述存储哈希值从所述多级一致性哈希环中获得存储节点连接信息包括：使用所述存储哈希值与所述多级一致性哈希环中的存储信息节点的哈希值分区进行匹配处理，用于获得所述数据库连接信息；其中，同一级一致性哈希环中的存储信息节点的哈希值分区不重合；所述存储信息节点包括：实际节点、为实际节点在同一级一致性哈希环中分配的虚拟节点。5.如权利要求4所述的方法，所述将所述存储节点配置信息映射到多级一致性哈希环中包括：基于所述起始哈希值和所述终止哈希值将多个数据库分组信息作为第一存储信息节点映射到第一级一致性哈希环中；基于所述优先级将多个数据分片信息作为第二存储信息节点映射到第二级一致性哈希环中；其中，所述第二存储信息节点的哈希值区间为优先级区间；基于所述分片号将多个数据库连接信息作为第三存储信息节点映射到第三级一致性哈希环中；其中，所述第三存储信息节点的哈希值区间为分片号区间。6.如权利要求5所述的方法，所述使用所述存储哈希值与所述多级一致性哈希环中的存储信息节点的哈希值分区进行匹配处理包括：将所述存储哈希值与所述第一存储信息节点的哈希值分区进行匹配处理，根据匹配结果从所述第一存储信息节点中选取第一处理节点；获得匹配优先级值，将与所述第一处理节点对应的第二级一致性哈希环中的第二存储信息节点的哈希值分区与所述匹配优先级值进行匹配处理，根据匹配结果从所述第二存储信息节点中选取第二处理节点；将与所述第二处理节点对应的第三级一致性哈希环中的第三存储信息节点的哈希值2CN111723073A权利要求书2/3页分区与所述存储哈希值进行匹配处理，根据匹配结果从所述第三存储信息节点中选取第三处理节点；获取与第三处理节点相对应的数据库连接信息。7.如权利要求6所述的方法，所述存储节点配置信息还包括：数据分库的状态信息；所述方法还包括：将所述匹配优先级的初始化值设置为0；基于所述状态信息判断与选取的第二处理节点相对应的数据分片信息是否能够选取；如果否，则将所述匹配优先级的值增加预设的数值，并将与所述第一处理节点对应的第二级一致性哈希环中的第二存储信息节点的哈希值分区与