一种分布式存储方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113918097A(43)申请公布日2022.01.11(21)申请号202111230912.4G06F16/182(2019.01)(22)申请日2021.10.22(71)申请人云南电网有限责任公司电力科学研究院地址650217云南省昆明市经济技术开发区云大西路105号(72)发明人刘斯扬刘娇龙聂永杰曹敏李波廖耀华李博王恩陈叶魏龄顾志明(74)专利代理机构北京弘权知识产权代理有限公司11363代理人逯长明许伟群(51)Int.Cl.G06F3/06(2006.01)G06F9/50(2006.01)权利要求书3页说明书10页附图4页(54)发明名称一种分布式存储方法及系统(57)摘要本申请提供了一种分布式存储方法及系统，通过建立全局映射表储存元数据和元数据的地址形成的映射关系，便于对目标元数据及文件数据进行访问。又通过对元数据服务器负载状态的分析，释放高负载状态的元数据服务器的存储空间，同时将元数据优先配置给低负载状态的元数据服务器，提高了低负载状态的元数据服务器的利用率，解决了元数据服务器动态负载分配不均的问题。CN113918097ACN113918097A权利要求书1/3页1.一种分布式存储方法，其特征在于，包括：收集元数据与所述元数据的地址，将所述元数据和所述元数据的地址储存到映射表中，得到全局映射表；在全局映射表中访问目标元数据；若全局映射表中没有所述目标元数据和所述目标元数据的地址，以文件目录的路径信息、所述目标元数据的特征信息和元数据服务器的信息为参数，得到元数据距离函数；所述元数据距离函数如下：其中，dis为距离函数；di为所述目标元数据到所述元数据服务器的距离；hi为元数据服务器的信息参数；f1(diri)为哈希函数1；f2(addri)为哈希函数2；ri为哈希圆；bi(t)为元数据服务器处理能力；结合所述元数据距离函数，根据元数据服务器的负载情况，为所述目标元数据配置元数据服务器，得到所述目标元数据的地址；将所述目标元数据和所述目标元数据的地址储存到映射表中；返回所述目标元数据；根据所述目标元数据，访问所述目标元数据对应的文件数据；返回所述文件数据。2.根据权利要求1所述的分布式存储方法，其特征在于，若全局映射表中没有所述目标元数据和所述目标元数据的地址，以文件目录的路径信息、所述目标元数据的特征信息和元数据服务器的信息为参数，得到元数据距离函数的步骤包括：设置半径为1的哈希环；设置哈希函数f1，使用哈希函数f1以文件目录的路径信息为参数，将所述目标元数据信息映射到所述哈希环的组成点上，得到所述目标元数据的逻辑位置；设置哈希函数f2，所述哈希函数f2以元数据服务器的信息为参数，并将所述元数据服务器的信息映射到所述哈希环的组成点上，得到所述元数据服务器的逻辑位置；所述元数据服务器的信息包括元数据服务器的IP地址和元数据服务对外端口串的数据；添加元数据服务器处理能力特征；结合哈希函数和元数据服务器处理能力特征得到所述元数据距离函数。3.根据权利要求2所述的分布式存储方法，其特征在于，添加元数据服务器处理能力特征的步骤包括：设置所述元数据服务器没存放元数据时，元数据服务器的处理能力，所述元数据服务器的处理能力用公式表示为：bi(0)＝r1×cpui+r2×memi+r3×ioi+r4×diski；其中cpui为所述元数据服务器中cpu的计算性能；memi为所述元数据服务器中内存的性能；ioi为所述元数据服务器的读取性能；diski为所述元数据服务器中的磁盘大小；bi(0)为没存放元数据的元数据服务器的处理能力；r1、r2、r3和r4均为系数；设置r1、r2、r3和r4之间的数值关系，用公式表示为：2CN113918097A权利要求书2/3页r1+r2+r3+r4＝1；为所述元数据服务器的处理能力添加动态特征，得到服务器性能变化状态下的元数据服务器处理能力公式：bi(t)＝r1×cpui(t)+r2×memi(t)+r3×ioi(t)+r4×diski(t)；其中，cpui(t)为t时刻所述元数据服务器中cpu的性能；memi(t)为t时刻所述元数据服务器中内存的性能；ioi(t)为t时刻所述元数据服务器的读取性能；diski(t)为所述元数据服务器中的磁盘大小。4.根据权利要求1所述的分布式存储方法，其特征在于，结合所述元数据距离函数，根据元数据服务器的负载情况，为所述目标元数据配置元数据服务器，得到所述目标元数据的地址的步骤包括：根据影响元数据服务器的负载的因素建立特征公式；结合所述特征公式建立元数据服务器负载公式；判断元数据服务器的负载状态，将目标元数据配置给低负载状态的元数据服务器；将低负载状态的元数据服务器参数和目标元数