数据分片处理方法、装置以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112860654A(43)申请公布日2021.05.28(21)申请号201911179199.8(22)申请日2019.11.27(71)申请人中国电信股份有限公司地址100033北京市西城区金融大街31号(72)发明人池炜成刘智琼伍运珍朱明英俞科峰华竹轩张金娟陈娜李舒婷(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人方亮(51)Int.Cl.G06F16/21(2019.01)G06F16/27(2019.01)权利要求书2页说明书6页附图3页(54)发明名称数据分片处理方法、装置以及存储介质(57)摘要本公开提供了一种数据分片处理方法、装置以及存储介质，其中的方法包括：生成多个分片键，设置分片键预留池，将多个分片键放入分片键预留池中，并设置与每个分片键相对应的状态信息；当为目标数据分配分片键时，获取当前设置的全部分片的第一分片数量，基于第一分片数量并使用预设的分片分配规则在分片键预留池中选取目标分片键，确定用于存储目标数据的目标分片；将目标分片键分配给目标数据并将目标数据存储在目标分片，并将与目标分片键相对应的状态信息设置为使用状态。本公开的方法、装置以及存储介质，能够保证数据分片当前可用，并实现存储节点扩容时不用进行数据迁移，并能快速实现数据的均衡，达到数据节点的平稳扩容。CN112860654ACN112860654A权利要求书1/2页1.一种数据分片处理方法，包括：生成多个分片键；其中，每个分片键都为唯一标识；设置分片键预留池，将所述多个分片键放入所述分片键预留池中，并设置与每个分片键相对应的状态信息；当为目标数据分配分片键时，获取当前设置的全部分片的第一分片数量，基于所述第一分片数量并使用预设的分片分配规则在所述分片键预留池中选取目标分片键，确定用于存储所述目标数据的目标分片；将所述目标分片键分配给所述目标数据并将所述目标数据存储在所述目标分片，并将与所述目标分片键相对应的状态信息设置为使用状态。2.如权利要求1所述的方法，所述基于所述第一分片数量并使用预设的分片分配规则在所述分片键预留池中选取目标分片键包括：获取所述分片键预留池中的预留分片键；其中，所述预留分片键的状态信息为预留状态；将所述预留分片键对预设的分片总数量进行取模运算，如果余数小于或等于所述第一分片数量，则选取所述预留分片键作为所述目标分片键。3.如权利要求2所述的方法，所述确定用于存储所述目标数据的目标分片包括：获取所述目标分片键与所述第一分片量进行取模运算的余数，基于此余数确定所述目标分片。4.如权利要求3所述的方法，还包括：如果进行存储节点扩容，则设置新存储节点并在所述新存储节点中设置新分片；当为所述目标数据分配分片键时，获取扩容后的全部分片的第二分片数量，基于所述第二分片数量并使用所述分片分配规则在所述分片键预留池中选取目标分片键，确定用于存储所述目标数据的目标分片。5.如权利要求4所述的方法，所述基于所述第二分片数量并使用所述分片分配规则在所述分片键预留池中选取目标分片键包括：获取所述分片键预留池中的所述预留分片键；将所述预留分片键对所述分片总数量进行取模运算，如果余数小于或等于所述第二分片数量，或者此余数小于或等于所述第二分片数量并且大于所述第一分片数量，则选取所述预留分片键作为所述目标分片键，并基于此余数确定所述目标分片。6.如权利要求2所述的方法，还包括：如果在所述分片键预留池中没有所述预留分片键，则生成多个新分片键并将所述多个新分片键放入所述分片键预留池中，并设置与每个新分片键相对应的状态信息。7.一种数据分片处理装置，包括：片键生成模块，用于生成多个分片键；其中，每个分片键都为唯一标识；预留池设置模块，用于设置分片键预留池，将所述多个分片键放入所述分片键预留池中，并设置与每个分片键相对应的状态信息；片键分配模块，用于当为目标数据分配分片键时，获取当前设置的全部分片的第一分片数量，基于所述第一分片数量并使用预设的分片分配规则在所述分片键预留池中选取目标分片键，确定用于存储所述目标数据的目标分片；2CN112860654A权利要求书2/2页数据处理模块，用于将所述目标分片键分配给所述目标数据并将所述目标数据存储在所述目标分片，并将与所述目标分片键相对应的状态信息设置为使用状态。8.如权利要求7所述的装置，其中，所述片键分配模块，用于获取所述分片键预留池中的预留分片键；其中，所述预留分片键的状态信息为预留状态；将所述预留分片键对预设的分片总数量进行取模运算，如果余数小于或等于所述第一分片数量，则选取所述预留分片键作为所述目标分片键。9.如权利要求8所述的装置，其中，所述片键分配模块，用于获取所述目标分片键与所述第一分片量进行取模运算的余