分布式存储系统的数据存储方法、装置、系统及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113726832A(43)申请公布日2021.11.30(21)申请号202010456598.0(22)申请日2020.05.26(71)申请人杭州海康存储科技有限公司地址310051浙江省杭州市滨江区丹枫路399号2号楼B楼307室(72)发明人胡祖颖黄毅孙承华(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人谢冬寒(51)Int.Cl.H04L29/08(2006.01)权利要求书4页说明书33页附图10页(54)发明名称分布式存储系统的数据存储方法、装置、系统及设备(57)摘要本申请公开了一种分布式存储系统的数据存储方法、装置、系统及设备，属于存储技术领域。所述方法包括：用户节点可以根据节点活跃度和节点距离中的至少一种，从分布式存储系统的多个设备节点中确定目标文件的文件分片的上传节点，然后将该文件分片上传至该上传节点，由该上传节点对文件分片进行存储。这样，用户节点所选择的上传节点可以为分布式存储系统中平均在线时长较长和/或与用户节点之间的哈希距离较短的设备节点，极大地降低了所选择的上传节点不可用的可能性，且数据传输效率较高，因此提高了数据存储效率。CN113726832ACN113726832A权利要求书1/4页1.一种分布式存储系统的数据存储方法，其特征在于，所述方法包括：从分布式存储系统包括的多个设备节点中确定文件分片的上传节点，所述上传节点是基于所述多个设备节点的节点计算因子确定得到；其中，所述节点计算因子包括节点活跃度和节点距离中的至少一种，所述节点活跃度用于指示设备节点的平均在线时长，所述节点距离用于指示设备节点与用户节点之间的哈希距离，所述文件分片为目标文件的文件分片；将所述文件分片上传至所述上传节点，由所述上传节点对所述文件分片进行存储。2.根据权利要求1所述的方法，其特征在于，所述从分布式存储系统包括的多个设备节点中确定文件分片的上传节点，包括：通过中继节点，从所述多个设备节点中获取按照节点评估值从大到小的顺序排序在前的N个设备节点，将所述N个设备节点作为所述文件分片的上传节点；其中，所述多个设备节点的节点评估值是由所述中继节点基于所述多个设备节点的节点计算因子确定的，所述N为正整数；或者，对于所述文件分片中的第一分片，当需要上传所述第一分片时，基于所述多个设备节点的节点计算因子，确定所述多个设备节点的节点评估值，从所述多个设备节点中选择节点评估值最大的设备节点，作为所述第一分片的上传节点；其中，所述第一分片为所述文件分片中的任一分片。3.如权利要求2所述的方法，其特征在于，所述基于所述多个设备节点的节点计算因子，确定所述多个设备节点的节点评估值，包括：对于所述多个设备节点中的第一设备节点，确定所述第一设备节点的节点计算因子中各个计算因子的权重，所述第一设备节点为所述多个设备节点中的任一个；基于所述第一设备节点的节点计算因子中各个计算因子的权重，对所述第一设备节点的节点计算因子中所有计算因子进行加权求和，得到所述第一设备节点的节点评估值。4.如权利要求1-3任一所述的方法，其特征在于，所述将所述文件分片上传至所述上传节点，由所述上传节点对所述文件分片进行存储，包括：基于所述文件分片，生成所述文件分片的分片索引对象，所述分片索引对象包括所述文件分片以及所述文件分片的索引；将所述文件分片的分片索引对象上传至所述上传节点，由所述上传节点对所述分片索引对象进行存储。5.如权利要求4所述的方法，其特征在于，所述基于所述文件分片，生成所述文件分片的分片索引对象，包括：对所述文件分片进行特征提取，得到所述文件分片的特征值，将所述文件分片的特征值作为所述文件分片的索引；基于所述文件分片以及所述文件分片的索引，生成所述文件分片的分片索引对象。6.如权利要求4所述的方法，其特征在于，所述将所述文件分片的分片索引对象上传至所述上传节点之前，还包括：基于所述文件分片中所有分片的索引，生成所述目标文件的索引；基于所述目标文件的索引，以及所述文件分片中所有分片的索引，生成所述目标文件的文件索引对象，所述文件索引对象包括所述目标文件的索引以及所述文件分片中所有分2CN113726832A权利要求书2/4页片的索引；将所述文件分片的分片索引对象上传至所述上传节点，包括：将所述文件分片的分片索引对象，以及所述目标文件的文件索引对象上传至所述上传节点中，由所述上传节点进行存储。7.如权利要求6所述的方法，其特征在于，所述方法还包括：确定所述目标文件的检索信息，所述目标文件的检索信息包括所述目标文件的文件标识以及所述目标文件的索引；将所述目标文件的检索信息上传至中继节点中。8.一种分布式存储系统的数据存储方法，其特征在于，所述方法包括：确定