基于纠删码的编码方法、分布式系统、设备及存储介质.pdf
志信****pp
亲,该文档总共19页,到这已经超出免费预览范围,如果喜欢就直接下载吧~
相关资料
基于纠删码的编码方法、分布式系统、设备及存储介质.pdf
本说明书一个或多个实施例提供一种基于纠删码的编码方法、分布式系统、设备及存储介质,所述方法包括:获取待处理数据的K个数据块;将所述K个数据块划分成L组数据组;其中,每组数据组至少包括与所述K个数据块分别对应的K个编码参数;其中,K、L为大于1的整数;对于每组数据组,利用其它数据组中的至少部分数据块和本组数据组中与所述至少部分数据块对应的编码参数进行编码,生成本组数据组的部分校验块;其中,所述数据组及所述部分校验块存储在分布式系统的数据节点中。本实施例在保证了用户数据安全性的同时,降低了数据丢失或者异常时需
基于纠删码的分布式存储系统模型的设计和实现.docx
基于纠删码的分布式存储系统模型的设计和实现随着互联网的发展和数据量的快速增长,传统的集中式存储方式已无法满足需求。分布式存储系统应运而生。纠删码是分布式存储系统中重要的一部分,可以提高存储系统的数据冗余性和容错性。本文将介绍基于纠删码的分布式存储系统模型的设计和实现。一、背景在传统的集中式存储系统中,数据都存储在一个中心服务器中,很容易发生单点故障和数据丢失。分布式存储系统则将数据分散存储在多个物理节点中,利用多节点的冗余性和容错性,大大提高了存储系统的可靠性和可扩展性。纠删码是一种用于数据冗余和修复的编
基于纠删码的分布式存储系统的扩容和缩容方法.pdf
本发明提供了一种基于纠删码的分布式存储系统的扩容和缩容方法,本发明通过扩容或缩容前识别磁盘阵列,检查磁盘阵列中每个磁盘的空闲空间并获得相关参数m和n,计算磁盘阵列中保留、重映射以及重构的OUS/NUS数量,并发地处理保留、重新映射和重构的OUS/NUS,修改所有的校验块,能够支持磁盘阵列的双向扩展,并将扩展过程中所产生的开销降至最低,加速校验阵列的可扩展过程。
基于链下纠删码分布式存储的区块链数据存储系统及方法.pdf
一种基于链下纠删码分布式存储的区块链数据存储系统及方法,其技术方案为:将区块链模块共识节点的存储功能分离至一个链下存储网络模块,使得共识节点仅保留计算功能以产生区块;负责区块存储的链下存储网络模块,通过编译码模块的纠删码方案和编译码模块纠删码方案对链下存储节点内不存在数据进行实时恢复。本发明在提升区块链节点计算能力的同时,大大降低了系统恢复数据时的单链路数据传输压力和计算的复杂度。具有更低的存储开销和更高的系统运行速率,以及更好的数据完整安全性、低数据恢复带宽、低计算复杂度以及更小的单链路网络传输压力的优
一种基于分布式存储系统的纠删码编码布局方法及系统.pdf
本发明提出一种分布式存储系统的纠删码编码布局方法和系统,以在分布式系统有数据丢失时通过减少恢复的数据传输量及恢复时长,从而提高整个系统的恢复效率和可靠性。本发明在传统RS纠删码存储的基础上增加了节点内部的奇偶校验计算,使用不同n、k值的RS编码,并将奇偶校验计算结果存储于当前节点中,这样在出现少量数据丢失或节点故障时,可以从节点自身解码奇偶检验块,以达到减少恢复产生的跨机架、跨节点网络带宽的目的。