一种基于分布式存储系统的纠删码编码布局方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114237971A(43)申请公布日2022.03.25(21)申请号202111481100.7(22)申请日2021.12.06(71)申请人北京信息科技大学地址100101北京市海淀区清河小营东路12号(72)发明人宋莹穆天童杨明杰(74)专利代理机构北京律诚同业知识产权代理有限公司11006代理人祁建国陈思远(51)Int.Cl.G06F11/10(2006.01)G06F16/182(2019.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于分布式存储系统的纠删码编码布局方法及系统(57)摘要本发明提出一种分布式存储系统的纠删码编码布局方法和系统，以在分布式系统有数据丢失时通过减少恢复的数据传输量及恢复时长，从而提高整个系统的恢复效率和可靠性。本发明在传统RS纠删码存储的基础上增加了节点内部的奇偶校验计算，使用不同n、k值的RS编码，并将奇偶校验计算结果存储于当前节点中，这样在出现少量数据丢失或节点故障时，可以从节点自身解码奇偶检验块，以达到减少恢复产生的跨机架、跨节点网络带宽的目的。CN114237971ACN114237971A权利要求书1/2页1.一种基于分布式存储系统的纠删码编码布局方法，其特征在于，包括：步骤1、获取具有多个存储节点的分布式存储系统，并根据该分布式存储系统的存储节点数量设定横向、纵向编码参数，并将所有存储节点按存储内容划分为用于存储数据块的数据节点和用于存储横向校验块的校验节点；步骤2、根据该横向、纵向编码参数，分别纵向和横向纠删编码各数据节点上的每个原始数据块，得到各个原始数据块对应的纵向校验块和横向校验块；将横向校验块保存至校验节点，并将纵向校验块保存至与之对应原始数据块所在的该数据节点；步骤3、当数据丢失时，判断丢失数据是否属于原始数据块，若是，则解码丢失数据所在数据节点的纵向校验块，以恢复丢失数据，并存入该丢失数据所在的数据节点；否则判断该丢失数据是否属于纵向校验块，若是，则对该丢失数据进行纵向纠删编码，以恢复丢失数据，并存入该丢失数据所在的数据节点；否则该丢失数据属于横向校验块，对该丢失数据进行横向纠删编码，以恢复丢失数据，并存入该校验节点。2.如权利要求1所述的基于分布式存储系统的纠删码编码布局方法，其特征在于，还包括：步骤4，当数据节点故障时，解码该校验节点的横向校验块，以恢复得到纵向校验块所在条带，然后再解码恢复原始数据块，直至最后剩下的一个原始数据块利用恢复得到的纵向校验块解码恢复。3.如权利要求1或2所述的基于分布式存储系统的纠删码编码布局方法，其特征在于，还包括：步骤5，当该校验节点故障时，对该数据节点中每个原始数据块进行横向纠删编码，以恢复故障的校验节点。4.如权利要求1所述的基于分布式存储系统的纠删码编码布局方法，其特征在于，该纵向和横向纠删编码均属于奇偶校验编码，且该横向校验块数量大于该纵向校验块数量。5.一种基于分布式存储系统的纠删码编码布局系统，其特征在于，包括：初始模块，用于获取具有多个存储节点的分布式存储系统，并根据该分布式存储系统的存储节点数量设定横向、纵向编码参数，并将所有存储节点按存储内容划分为用于存储数据块的数据节点和用于存储横向校验块的校验节点；编码模块，用于根据该横向、纵向编码参数，分别纵向和横向纠删编码各数据节点上的每个原始数据块，得到各个原始数据块对应的纵向校验块和横向校验块；将横向校验块保存至校验节点，并将纵向校验块保存至与之对应原始数据块所在的该数据节点；恢复模块，用于在数据丢失时，判断丢失数据是否属于原始数据块，若是，则解码丢失数据所在数据节点的纵向校验块，以恢复丢失数据，并存入该丢失数据所在的数据节点；否则判断该丢失数据是否属于纵向校验块，若是，则对该丢失数据进行纵向纠删编码，以恢复丢失数据，并存入该丢失数据所在的数据节点；否则该丢失数据属于横向校验块，对该丢失数据进行横向纠删编码，以恢复丢失数据，并存入该校验节点。6.如权利要求5所述的基于分布式存储系统的纠删码编码布局系统，其特征在于，该恢复模块还用于在数据节点故障时，解码该校验节点的横向校验块，以恢复得到纵向校验块所在条带，然后再解码恢复原始数据块，直至最后剩下的一个原始数据块利用恢复得到的纵向校验块解码恢复。7.如权利要求5或6所述的基于分布式存储系统的纠删码编码布局系统，其特征在于，该恢复模块还用于在该校验节点故障时，对该数据节点中每个原始数据块进行横向纠删编2CN114237971A权利要求书2/2页码，以恢复故障的校验节点。8.如权利要求5所述的基于分布式存储系统的纠删码编码布局系统，其特征在于，该纵向和横向纠删编码均属于奇偶校验编码，且该横向校验块数量大于该纵向校验块数量。9