一种用于确定大数据存储系统的运行状态的方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109271104A(43)申请公布日2019.01.25(21)申请号201811006478.X(22)申请日2018.08.30(71)申请人杜广香地址252659山东省聊城市临清市代湾镇代南村卫生室(72)发明人不公告发明人(51)Int.Cl.G06F3/06(2006.01)G06F11/30(2006.01)G06F11/34(2006.01)权利要求书7页说明书31页附图3页(54)发明名称一种用于确定大数据存储系统的运行状态的方法及系统(57)摘要本发明公开了一种用于确定大数据存储系统的运行状态的方法及系统，其中方法包括：在确定所述大数据存储系统内的所有存储设备中均没有正在运行的数据访问操作时，根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；计算大数据存储系统的访问频率参数；当大数据存储系统的访问频率参数BSF大于系统低频阈值时，确定所述大数据存储系统的运行状态为低频运行状态。CN109271104ACN109271104A权利要求书1/7页1.一种用于确定大数据存储系统的运行状态的方法，所述方法包括：响应于接收到用于确定大数据存储系统的运行状态的请求，将所述大数据存储系统从任意的数据请求方所接收的新的数据访问请求重定向到所述大数据存储系统的系统缓冲设备而不将所接收的新的数据访问请求发送给多个存储设备中的相应的存储设备，以由所述系统缓冲设备将新的数据访问请求所包含的查询条件的描述信息与所述系统缓冲设备的临时数据项集合中的每个临时数据项进行内容匹配以确定每个临时数据项的内容匹配度，从多个临时数据项中选择内容匹配度大于匹配阈值的至少一个选定的临时数据项，将所选择的至少一个选定的临时数据项发送给所述新的数据访问请求所指示的数据请求方，并且在所述系统缓冲设备的缓冲区内保存所述新的数据访问请求；在确定所述大数据存储系统内的所有存储设备中均没有正在运行的数据访问操作时，获取所述大数据存储系统内多个存储设备中每个存储设备的运行日志文件，并且基于当前的统计时间区间和每个存储设备的运行日志文件确定每个存储设备中存储的多个数据项的经过统计的访问信息，根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；其中所述访问信息统计文件包括数据项统计表，所述数据项统计表包括多个数据项记录，其中每个数据项记录的内容为6元组<数据项的标识符、被访问次数、统计起始时间、统计结束时间、存储尺寸、存储起始时间>；对每个存储设备的访问信息统计文件进行解析，将当前的统计时间区间内每个存储设备的所有数据项中被访问次数小于低频次数阈值的数据项确定为低频数据项，确定每个存储设备所包括的低频数据项的低频项数量，将多个存储设备中低频项数量大于低频设备阈值的存储设备确定为低频存储设备并确定所述大数据存储系统中低频存储设备的数量，基于每个存储设备的访问信息统计文件确定所述大数据存储系统中数据项的总数量和大数据存储系统中低频数据项的总数量；根据每个低频存储设备的访问信息统计文件确定每个低频存储设备在当前的统计时间区间内各自的被访问次数的总数量和根据每个非低频存储设备的访问信息统计文件确定每个非低频存储设备在当前的统计时间区间内各自的被访问次数的总数量；根据大数据存储系统的系统记录设备中的设备描述信息确定大数据存储系统中所有存储设备的总数量；根据大数据存储系统的访问记录设备中的访问描述信息确定当前的统计时间区间内大数据存储系统的被访问次数的总数量和相邻的前一个统计时间区间内大数据存储系统的被访问次数的总数量；根据大数据存储系统中所有存储设备的总数量和大数据存储系统中低频存储设备的数量确定大数据存储系统中非低频存储设备的数量；根据每个低频存储设备在当前的统计时间区间内各自的被访问次数的总数量和当前的统计时间区间的时间长度确定每个低频存储设备在当前的统计时间区间内的每小时平均被访问次数、根据每个非低频存储设备在当前的统计时间区间内各自的被访问次数的总数量和当前的统计时间区间的时间长度确定每个非低频存储设备在当前的统计时间区间内的每小时平均被访问次数，以及根据当前的统计时间区间内大数据存储系统的被访问次数的总数量和当前的统计时间区间的时间长度确定大数据存储系统在当前的统计时间区间内的每分钟平均被访问次数；计算大数据存储系统的访问频率参数：2CN109271104A权利要求书2/7页其中，BSF为大数据存储系统的访问频率参数、LDN为大数据存储系统中低频存储设备的数量、NLDN为大数据存储系统中非低频存储设备的数量、Dtotal为大数据存储系统中所有存储设备的总数量、LTNtotal为大数据存储系统中低频数据项的总数量、TN