用于分布式存储集群的数据修复方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106293980A(43)申请公布日2017.01.04(21)申请号201610595794.X(22)申请日2016.07.26(71)申请人乐视控股（北京）有限公司地址100025北京市朝阳区姚家园路105号3号楼10层1102申请人乐视云计算有限公司(72)发明人吴兴义(74)专利代理机构北京商专永信知识产权代理事务所(普通合伙)11400代理人方挺黄谦(51)Int.Cl.G06F11/07(2006.01)权利要求书1页说明书7页附图1页(54)发明名称用于分布式存储集群的数据修复方法及系统(57)摘要本发明提供了一种用于分布式存储集群的数据修复方法，包括：根据接收到的数据读取请求在分布式存储集群中的主磁盘中确定数据的主副本，并将主副本返回至数据读取请求的发起者；基于校验概率确定从副本校验命中结果，当结果为是时，向从副本所在的从磁盘发送校验请求，并接收从磁盘发送的第一校验值；确定第一校验值与主副本的第二校验值是否相同，当第一校验值和第二校验值不同时，利用主副本对从副本进行修复。本发明还提供了相应的系统。本发明实施例能够基于主副本对存储的数据其内容不一致的从副本进行自动修复。通过设置校验概率来确定是否对从副本进行数据一致性的校验，能够降低分布式存储集群的系统负载，减少资源浪费，增加系统性能。CN106293980ACN106293980A权利要求书1/1页1.一种用于分布式存储集群的数据修复方法，包括：根据接收到的数据读取请求在所述分布式存储集群中的主磁盘中确定数据的主副本，并将所述主副本返回至所述数据读取请求的发起者；基于校验概率确定从副本校验命中结果，当结果为是时，向所述从副本所在的从磁盘发送校验请求，并接收所述从磁盘发送的第一校验值；确定所述第一校验值与所述主副本的第二校验值是否相同，当所述第一校验值和所述第二校验值不同时，利用所述主副本对所述从副本进行修复。2.根据权利要求1所述的方法，其中，所述校验概率包括用于磁盘空闲状态的第一校验概率和用于磁盘工作状态的第二校验概率，所述第一校验概率大于所述第二校验概率。3.根据权利要求2所述的方法，其中，所述确定所述第一校验值与所述主副本的第二校验值是否相同，当所述第一校验值和所述第二校验值不同时，利用所述主副本对所述从副本进行修复包括：将所述主副本发送至所述从磁盘以替换所述从副本。4.根据权利要求1-3中任一项所述的方法，其中，所述校验值根据所述数据读取请求对应的数据内容确定，所述校验值至少包括MD5校验值或CRC32校验值中的一种。5.一种用于分布式存储集群的数据修复系统，包括：请求响应单元，用于根据接收到的数据读取请求在所述分布式存储集群中的主磁盘中确定数据的主副本，并将所述主副本返回至所述数据读取请求的发起者；副本修复单元，用于：基于校验概率确定从副本校验命中结果，当结果为是时，向所述从副本所在的从磁盘发送校验请求，并接收所述从磁盘发送的第一校验值；确定所述第一校验值与所述主副本的第二校验值是否相同，当所述第一校验值和所述第二校验值不同时，利用所述主副本对所述从副本进行修复。6.根据权利要求5所述的系统，其中，所述校验概率包括用于磁盘空闲状态的第一校验概率和用于磁盘工作状态的第二校验概率，所述第一校验概率大于所述第二校验概率。7.根据权利要求6所述的系统，其中，所述副本修复单元用于将所述主副本发送至所述从磁盘以替换所述从副本。8.根据权利要求5-7中任一项所述的系统，其中，所述校验值根据所述数据读取请求对应的数据内容确定，所述校验值至少包括MD5校验值或CRC32校验值中的一种。2CN106293980A说明书1/7页用于分布式存储集群的数据修复方法及系统技术领域[0001]本发明涉及分布式存储技术领域，具体涉及一种用于分布式存储集群的数据修复方法及系统。背景技术[0002]分布式存储系统，是将数据按照一定规则切分并打散存储在多台独立通用存储服务器上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要，而分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。存储集群的成千上万台服务器可以将数据充分冗余，从而可以显著提高数据的安全性。[0003]在分布式存储系统中，通常采用三副本的方式保证数据安全。三副本方式是指，由一个主磁盘负责接收请求，并转发数据给另外两个(从)磁盘，等另外两个磁盘上数据落盘成功之后，自己再落盘，并在成功之后给予用户回应。[0004]在实现本发明的过程中，发明人发现现有技术至少存在以下