日志数据处理方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113886193A(43)申请公布日2022.01.04(21)申请号202111248571.3(22)申请日2021.10.26(71)申请人OPPO广东移动通信有限公司地址523860广东省东莞市长安镇乌沙海滨路18号(72)发明人郑树贤崔英云马亚光兰希张家豪(74)专利代理机构广州德科知识产权代理有限公司44381代理人蔡丽妮万振雄(51)Int.Cl.G06F11/30(2006.01)权利要求书2页说明书15页附图5页(54)发明名称日志数据处理方法、装置、电子设备及存储介质(57)摘要本申请实施例公开了一种日志数据处理方法、装置、电子设备及存储介质，该方法包括：获取通过日志采集模块采集的系统日志数据；采用与所述系统日志数据所属的数据类型匹配的数据压缩方式，对所述系统日志数据进行数据压缩处理，得到目标日志数据。上述的日志数据处理方法、装置、电子设备及存储介质，能够减少日志数据的数据量，以减少日志数据占用的存储空间，且提高了对日志数据进行数据压缩的效果。CN113886193ACN113886193A权利要求书1/2页1.一种日志数据处理方法，其特征在于，包括：获取通过日志采集模块采集的系统日志数据；采用与所述系统日志数据所属的数据类型匹配的数据压缩方式，对所述系统日志数据进行数据压缩处理，得到目标日志数据。2.根据权利要求1所述的方法，其特征在于，所述系统日志数据所属的数据类型包括高频字段数据类型，所述高频字段数据类型的系统日志数据为系统调用目标接口产生的日志数据；所述采用与所述系统日志数据所属的数据类型匹配的数据压缩方式，对所述系统日志数据进行数据压缩处理，得到目标日志数据，包括：对属于所述高频字段数据类型的所述系统日志数据进行编码处理，将所述系统日志数据中包含的接口字符串转化为目标字符，得到目标日志数据，其中，所述接口字符串用于表征系统调用的目标接口。3.根据权利要求2所述的方法，其特征在于，所述将所述系统日志数据中包含的接口字符串转化为目标字符，得到目标日志数据，包括：在数据协议表中查找与所述系统日志数据中包含的接口字符串对应的目标字符，并将所述系统日志中的所述接口字符串转化为所述目标字符，得到目标日志数据。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：获取所述日志采集模块在第一时间段内采集的属于所述高频字段数据类型的系统日志数据；根据所述第一时间段内采集的属于所述高频字段数据类型的系统日志数据，统计满足高频调用条件的第一目标接口；生成与所述第一目标接口对应的第一目标字符，并将所述第一目标接口的第一接口字符串及对应的第一目标字符存储到所述数据协议表中。5.根据权利要求1所述的方法，其特征在于，所述系统日志数据所属的数据类型包括规律性数据类型，所述规律性数据类型的系统日志数据为系统重复执行同一操作行为产生的日志数据；所述采用与所述系统日志数据所属的数据类型匹配的数据压缩方式，对所述系统日志数据进行数据压缩处理，得到目标日志数据，包括：对属于所述规律性数据类型的所述系统日志数据进行数据聚合处理，得到目标日志数据。6.根据权利要求1所述的方法，其特征在于，所述系统日志数据所属的数据类型包括状态数据类型，所述状态数据类型的系统日志数据为对系统的状态进行监控产生的日志数据；所述采用与所述系统日志数据所属的数据类型匹配的数据压缩方式，对所述系统日志数据进行数据压缩处理，得到目标日志数据，包括：将属于所述状态数据类型的所述系统日志数据中包含的实时状态数据与保存的基准状态数据进行比较；若所述实时状态数据与所述基准状态数据不同，则根据所述实时状态数据对所述基准状态数据进行更新，以得到目标日志数据；2CN113886193A权利要求书2/2页若所述实时状态数据与所述基准状态数据相同，则丢弃所述系统日志数据。7.根据权利要求1～6任一所述的方法，其特征在于，在所述获取通过日志采集模块采集的系统日志数据之后，所述方法还包括：按照目标规则对所述系统日志数据进行过滤，剔除满足所述目标规则的系统日志数据；所述采用与所述系统日志数据所属的数据类型匹配的数据压缩方式，对所述系统日志数据进行数据压缩处理，包括：采用与过滤后的系统日志数据所属的数据类型匹配的数据压缩方式，对所述过滤后的系统日志数据进行数据压缩处理。8.一种日志数据处理装置，其特征在于，包括：日志获取模块，用于获取通过日志采集模块采集的系统日志数据；压缩模块，用于采用与所述系统日志数据所属的数据类型匹配的数据压缩方式，对所述系统日志数据进行数据压缩处理，得到目标日志数据。9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述