一种快速数据分析生成报表处理方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108415892A(43)申请公布日2018.08.17(21)申请号201810185330.0(22)申请日2018.03.07(71)申请人深圳市易迈数据技术有限公司地址518100广东省深圳市龙华区龙华街道三联社区弓村新城商业中心A座1701室(72)发明人陈街雄王亚玲(51)Int.Cl.G06F17/24(2006.01)权利要求书1页说明书2页附图2页(54)发明名称一种快速数据分析生成报表处理方法(57)摘要本发明公开了一种快速数据分析生成报表处理方法，属于数据分析技术领域。快速数据分析生成报表处理方法，包括：步骤1从日志列表中读取一日志文件；步骤2生成内存流文件；步骤3读一行数据，进行正则表达式分析并写入临时报表；步骤4判断是否到达流文件尾，如判断为是，则将临时报表写入硬盘中的报表列表，清空临时报表并进入步骤5；如果判断为否，则返回步骤3；步骤6判断是否到达日志列表尾部，如果判断为是，结束；如果判断为否，返回步骤1。本发明的快速数据分析生成报表处理方法与现有技术相比，占用内存少，分析速度快，尤其适合于大型企业快速生成数据报表使用。CN108415892ACN108415892A权利要求书1/1页1.一种快速数据分析生成报表处理方法，其特征在于，所述方法包括：步骤1从日志列表中读取一日志文件；步骤2生成内存流文件；步骤3读一行数据，进行正则表达式分析并写入临时报表；步骤4判断是否到达流文件尾，如判断为是，则将临时报表写入硬盘中的报表列表，清空临时报表并进入步骤5；如果判断为否，则返回步骤3；步骤6判断是否到达日志列表尾部，如果判断为是，结束；如果判断为否，返回步骤1。2CN108415892A说明书1/2页一种快速数据分析生成报表处理方法技术领域[0001]本发明具体涉及一种快速数据分析生成报表处理方法，属于数据分析技术领域。背景技术[0002]对于大型企业而言，在运营过程中产生大量的log文件。许多有用的信息蕴含其中，如此大的信息量如果不进行必要的数据清洗和挖掘，凭人工根本无法有效利用。[0003]此类程序，不仅要求算法正确，更要求高效，往往同样是正确的程序，运行时间和对电脑的要求差别很大。[0004]附图1为现有的一种生产报表的逻辑方案，这种方案的缺点是运行速度过慢，因为I/O操作次数=数据行数*报表数/2。一天的日志要进行几百万次的I/O操作，分析运行几个小时。[0005]附图2为现有的另一种生产报表的逻辑方案，这种方案的缺点是内存100%占用，程序假死。原因是一天的日志分析，耗费大量的内存，对硬件要求过高，容易造成系统崩溃。[0006]附图3为现有的另一种生产报表的逻辑方案，这种方案的运行速度有所提高，但是还是比较慢，原因是正则表达式分析长大字符串的效率不高。发明内容[0007]因此，本发明针对现有技术的上述问题，设计一种快速数据分析生成报表处理方法。[0008]具体的，快速数据分析生成报表处理方法，所述方法包括：步骤1从日志列表中读取一日志文件；步骤2生成内存流文件；步骤3读一行数据，进行正则表达式分析并写入临时报表；步骤4判断是否到达流文件尾，如判断为是，则将临时报表写入硬盘中的报表列表，清空临时报表并进入步骤5；如果判断为否，则返回步骤3；步骤6判断是否到达日志列表尾部，如果判断为是，结束；如果判断为否，返回步骤1。[0009]本发明的有益效果在于：本发明的快速数据分析生成报表处理方法与现有技术相比，占用内存少，分析速度快，尤其适合于大型企业快速生成数据报表使用。附图说明[0010]图1为背景技术中的第一种分析生成报表处理方法的逻辑图；图2为背景技术中的第二种分析生成报表处理方法的逻辑图；图3为背景技术中的第三种分析生成报表处理方法的逻辑图；图4为本发明快速数据分析生成报表处理方法的逻辑图。具体实施方式3CN108415892A说明书2/2页[0011]下面结合附图对本发明的具体实施方式进行说明：如图4所示。本实施例的使用背景与背景技术中相同，某交通企业行车log文件，平均每小时产生4万余条数据（10M左右文本文件），每日80~100万条数据，每月2500~3000万条数据。许多有用的信息蕴含其中，可以据此制定设备养护、维修计划，但如此大的信息量如果不进行必要的数据清洗和挖掘，凭人工根本无法有效利用。[0012]此类程序，不仅要求算法正确，更要求高效，往往同样是正确的程序，运行时间和对电脑的要求差别很大。[0013]通过使用本发明提供的处理方法，一台P4，2.8GCPU，512M内存的电脑中分析一天的数据占用内存50M，耗时30秒完成任务。[0014]以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人