一种日志数据提取方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106844505A(43)申请公布日2017.06.13(21)申请号201611225960.3(22)申请日2016.12.27(71)申请人北京五八信息技术有限公司地址100083北京市海淀区学清路甲18号中关村东升科技园学院园三层301室(72)发明人付奇(74)专利代理机构工业和信息化部电子专利中心11010代理人吴永亮(51)Int.Cl.G06F17/30(2006.01)G06F11/30(2006.01)权利要求书1页说明书7页附图3页(54)发明名称一种日志数据提取方法及装置(57)摘要本发明提出了一种日志数据提取方法及装置，该方法包括：根据预置的日志格式对应的解析配置信息，通过海杜普Hadoop计算系统对日志进行解析，并提取日志解析结果中的日志数据。本发明所述一种日志数据提取方法及装置，能够实现通过对日志数据的提取，对日志的格式进行统一，有效地提高了日志的阅读效率和统计效率。CN106844505ACN106844505A权利要求书1/1页1.一种日志数据提取方法，其特征在于，包括：根据预置的日志格式对应的解析配置信息，通过海杜普Hadoop计算系统对日志进行解析，并提取日志解析结果中的日志数据。2.根据权利要求1所述的方法，其特征在于，在所述通过海杜普Hadoop计算系统对日志进行解析，并提取日志解析结果中的日志数据之前，所述方法还包括：通过Flume日志收集系统获取终端中的应用程序的日志；将所述日志通过海杜普分布式文件系统HDFS传输至所述Hadoop计算系统。3.根据权利要求1所述的方法，其特征在于，所述通过海杜普Hadoop计算系统对日志进行解析，并提取日志解析结果中的日志数据之前，所述方法还包括：根据日志格式，在数据库中查询预置的所述日志格式对应的解析配置信息。4.根据权利要求1所述的方法，其特征在于，所述提取日志解析结果中的日志数据之后，所述方法还包括：将所述日志数据以设定格式存储至数据库中。5.根据权利要求1所述的方法，其特征在于，所述提取日志解析结果中的日志数据之后，所述方法还包括：将所述日志数据以设定格式在设定界面上进行显示。6.一种日志数据提取装置，其特征在于，所述装置包括：解析模块，用于根据预置的日志格式对应的解析配置信息，通过海杜普Hadoop计算系统对日志进行解析，并提取日志解析结果中的日志数据。7.根据权利要求6所述的装置，其特征在于，所述装置还包括：获取模块，用于通过Flume日志收集系统获取终端中的应用程序的日志；传输模块，用于将所述日志通过海杜普分布式文件系统HDFS传输至所述Hadoop计算系统。8.根据权利要求6所述的装置，其特征在于，所述装置还包括：查询模块，用于根据日志格式，在数据库中查询预置的所述日志格式对应的解析配置信息，并将所述日志格式对应的解析配置信息发送至所述解析模块。9.根据权利要求6所述的装置，其特征在于，所述装置还包括：存储模块，用于将所述日志数据以设定格式存储至数据库中。10.根据权利要求6所述的装置，其特征在于，所述装置还包括：输出模块，用于将所述日志数据以设定格式在设定界面上进行显示。2CN106844505A说明书1/7页一种日志数据提取方法及装置技术领域[0001]本发明涉及网络技术领域，尤其涉及一种日志数据提取方法及装置。背景技术[0002]随着计算机技术的高速发展，日志的作用越来越重要。但日志的格式并不统一。日志格式的不统一造成了日志的阅读和统计的困难。现有技术中，研发人员在每次处理日志的时候都需要明确知道日志的格式，根据日志的格式开发用于对日志进行读取和解析的工具类。每次进行日志处理的时候都需要研发人员进行重复的工具类开发，严重的影响日志的阅读效率和统计效率。发明内容[0003]本发明要解决的技术问题是，提供一种日志数据提取方法及装置，克服现有技术中日志格式不统一造成的难以阅读和统计日志的缺陷。[0004]本发明采用的技术方案是，所述一种日志数据提取方法，包括：[0005]根据预置的日志格式对应的解析配置信息，通过海杜普Hadoop计算系统对日志进行解析，并提取日志解析结果中的日志数据。[0006]进一步的，在所述通过海杜普Hadoop计算系统对日志进行解析，并提取日志解析结果中的日志数据之前，所述方法还包括：[0007]通过Flume日志收集系统获取终端中的应用程序的日志；[0008]将所述日志通过海杜普分布式文件系统HDFS传输至所述Hadoop计算系统。[0009]进一步的，所述通过海杜普Hadoop计算系统对日志进行解析，并提取日志解析结果中的日志数据之前，所述方法还包括：[0010]根据日志格式，在数据库中查询预置的所述日志格式对应的解析配置信