日志处理方法、装置及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106802904A(43)申请公布日2017.06.06(21)申请号201510846110.4(22)申请日2015.11.26(71)申请人北京国双科技有限公司地址100086北京市海淀区双榆树小区知春路76号翠宫饭店8层A间(72)发明人张良(74)专利代理机构北京康信知识产权代理有限责任公司11240代理人韩建伟张永明(51)Int.Cl.G06F17/30(2006.01)权利要求书2页说明书7页附图1页(54)发明名称日志处理方法、装置及系统(57)摘要本申请公开了一种日志处理方法、装置及系统。其中，该方法包括：数据处理服务器接收来自业务服务器的日志信息；数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及数据处理服务器将汇总结果返回给业务服务器。本申请通过数据处理服务器对日志信息进行分析汇总，实现了分布式地对日志信息进行汇总和计算，不仅保证了日志信息处理的效率，而且能够极大的减少日志信息处理对业务服务器的性能的影响，解决了相关技术中对大量日志信息进行处理严重影响业务服务器性能的技术问题。CN106802904ACN106802904A权利要求书1/2页1.一种日志处理方法，其特征在于，包括：数据处理服务器接收来自业务服务器的日志信息；所述数据处理服务器按照预设规则对所述日志信息进行汇总，得到汇总结果；以及所述数据处理服务器将所述汇总结果返回给所述业务服务器。2.根据权利要求1所述的方法，其特征在于，所述数据处理服务器将所述汇总结果返回给所述业务服务器包括：检测所述业务服务器是否处于空闲状态；以及在检测出所述业务服务器处于空闲状态时，将所述汇总结果返回给所述业务服务器。3.根据权利要求1所述的方法，其特征在于，所述数据处理服务器将所述汇总结果返回给所述业务服务器包括：所述数据处理服务器按照预设时间规则将所述汇总结果返回给所述业务服务器。4.根据权利要求1所述的方法，其特征在于，所述数据处理服务器按照预设规则对所述日志信息进行汇总，得到汇总结果包括：所述数据处理服务器将接收到的所述日志信息进行存储；所述数据处理服务器判断存储的日志信息是否达到预设量；以及所述数据处理服务器在判断出所述存储的日志信息达到所述预设量时，按照所述预设规则对所述存储的日志信息进行汇总，得到汇总结果。5.根据权利要求1所述的方法，其特征在于，在数据处理服务器接收来自业务服务器的日志信息之前，所述方法还包括：批量获取所述日志信息；对所述日志信息进行解析，得到日志解析结果；以及将所述日志解析结果发送至所述数据处理服务器。6.一种日志处理装置，其特征在于，包括：接收单元，用于使得数据处理服务器接收来自业务服务器的日志信息；汇总单元，用于使得所述数据处理服务器按照预设规则对所述日志信息进行汇总，得到汇总结果；以及返回单元，用于使得所述数据处理服务器将所述汇总结果返回给所述业务服务器。7.根据权利要求6所述的装置，其特征在于，所述返回单元包括：检测模块，用于检测所述业务服务器是否处于空闲状态；以及第一返回模块，用于在检测出所述业务服务器处于空闲状态时，将所述汇总结果返回给所述业务服务器。8.根据权利要求6所述的装置，其特征在于，所述返回单元包括：第二返回模块，用于使得所述数据处理服务器按照预设时间规则将所述汇总结果返回给所述业务服务器。9.一种日志处理系统，其特征在于，包括：业务服务器，用于将获取到的日志信息发送给数据处理服务器；以及数据处理服务器，用于接收来自所述业务服务器的日志信息，按照预设规则对所述日志信息进行汇总，得到汇总结果，并将所述汇总结果返回给所述业务服务器。10.根据权利要求9所述的系统，其特征在于，所述数据处理服务器还用于检测所述业务服务器是否处于空闲状态，其中，在检测出所述业务服务器处于空闲状态时，将所述汇总2CN106802904A权利要求书2/2页结果返回给所述业务服务器。3CN106802904A说明书1/7页日志处理方法、装置及系统技术领域[0001]本申请涉及数据处理领域，具体而言，涉及一种日志处理方法、装置及系统。背景技术[0002]在数据检测和分析领域，经常会收集大量的用户行为、业务操作等数据，用于根据数据分析业务需求进行统计和分析，这种数据通常通过日志的形式存储于业务服务器上。业务服务器根据数据量每小时或每几个小时读取日志中的文本数据，并存储于数据表中，以便于后续的数据分析处理。业务服务器在完成一天或一定时间量的数据收集时，则会对当天、当周或当月的数据按照业务需求进行汇总计算，并存储于业务服务器的汇总结果表中。[0003]目前，有数据分析业务需求的系统一般都是大数据量，或者高实时性的系统，对业务服务器性能要求很高，特别是存在数