用于避免大数据存储系统进入访问失衡状态的方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109240988A(43)申请公布日2019.01.18(21)申请号201811006479.4(22)申请日2018.08.30(71)申请人杜广香地址252659山东省聊城市临清市代湾镇代南村卫生室(72)发明人不公告发明人(51)Int.Cl.G06F16/13(2019.01)G06F16/2458(2019.01)权利要求书8页说明书32页附图4页(54)发明名称用于避免大数据存储系统进入访问失衡状态的方法及系统(57)摘要本发明公开了一种用于避免大数据存储系统进入访问失衡状态的方法及系统，其中方法包括：根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；计算大数据存储系统内低频存储设备的平衡系数；当大数据存储系统内低频存储设备的平衡系数大于平衡预警阈值时，从大数据存储系统内所有低频存储设备中确定选定组合的低频存储设备和多元组合的低频存储设备，针对于多个选定组合的低频存储设备中的每个选定组合的低频存储设备进行处理，或针对于多个多元组合的低频存储设备中的每个多元组合的低频存储设备进行处理，以避免大数据存储系统进入访问失衡状态。CN109240988ACN109240988A权利要求书1/8页1.一种用于避免大数据存储系统进入访问失衡状态的方法，所述方法包括：基于当前的统计时间区间和大数据存储系统内多个存储设备中每个存储设备的运行日志文件确定每个存储设备中存储的多个数据项的经过统计的访问信息，根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；其中所述访问信息统计文件包括数据项统计表，所述数据项统计表包括多个数据项记录，其中每个数据项记录的内容为6元组<数据项的标识符、被访问次数、统计起始时间、统计结束时间、存储尺寸、存储起始时间>；对每个存储设备的访问信息统计文件进行解析，将当前的统计时间区间内每个存储设备的所有数据项中被访问次数小于低频次数阈值Lthreshod的数据项确定为低频数据项，确定每个存储设备所包括的低频数据项的低频项数量；将多个存储设备中低频项数量大于低频设备阈值的存储设备确定为低频存储设备并确定大数据存储系统中低频存储设备的数量；基于每个低频存储设备的访问信息统计文件，确定每个低频存储设备的每个低频数据项的存储尺寸和被访问次数并且确定每个低频存储设备的低频数据项的低频项数量，基于每个低频存储设备的访问信息统计文件确定每个低频存储设备各自的所有数据项的总被访问次数；根据每个低频存储设备的标识符和大数据存储系统的系统记录设备中的设备描述信息确定每个低频存储设备各自的总存储容量,和根据大数据存储系统的系统记录设备中的设备描述信息大数据存储系统中所有存储设备的总数量，计算大数据存储系统内低频存储设备的平衡系数：其中α>0,β>0,χ>0并且α+β+χ＝1其中，DLB是大数据存储系统内低频存储设备的平衡系数；LTNi为第i个低频存储设备的低频数据项的低频项数量，LDN为大数据存储系统中低频存储设备的数量；LTSij为第i个低频存储设备内第j个低频数据项的存储尺寸，LSi为第i个低频存储设备的所有低频数据项的总存储尺寸，LCi为第i个低频存储设备的总存储容量，LTAij为第i个低频存储设备内第j个低频数据项的被访问次数，LAi为第i个低频存储设备的所有低频数据项的总被访问次数，LTi第i个低频存储设备的所有数据项的总被访问次数；Dtotal为大数据存储系统中所有存储设备的总数量；其中i为自然数，LDN≥i≥1并且j为自然数，LTNi≥j≥1，其中LDN≥100，并且LTNi≥100；当大数据存储系统内低频存储设备的平衡系数大于平衡预警阈值时，确定每个低频存2CN109240988A权利要求书2/8页储设备中所有数据项的平均被访问次数Lavgi，计算每个低频存储设备的平均被访问次数Lavgi与低频次数阈值Lthreshod的比值Ri；其中LDN≥i≥1，将大数据存储系统内所有低频存储设备中Ri大于1.2的低频存储设备确定为选定组合的低频存储设备，将大数据存储系统内所有低频存储设备中Ri小于或等于1.2的低频存储设备确定为多元组合的低频存储设备，针对于多个选定组合的低频存储设备中的每个选定组合的低频存储设备进行处理，以避免大数据存储系统进入访问失衡状态：将所有数据项中被访问次数大于低频次数阈值Lthreshod×1.5的数据项确定为待选数据项以获得多个待选数据项并由多个待选数据项构成待选数据项集合，确定所有数据项中被访问次数小于低频次数阈值Lthreshod的多个低频数据项，按照被访问次数的升序顺序将多个低频数据项进行排序以生成第一排序列表，将第一排序列表中排序为