一种日志归类分析方法、装置、设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112613309A(43)申请公布日2021.04.06(21)申请号202011554616.5(22)申请日2020.12.24(71)申请人北京浪潮数据技术有限公司地址100085北京市海淀区上地信息路2号C栋5层(72)发明人孙伟源(74)专利代理机构北京集佳知识产权代理有限公司11227代理人张春辉(51)Int.Cl.G06F40/289(2020.01)G06F40/103(2020.01)G06N3/08(2006.01)权利要求书2页说明书8页附图2页(54)发明名称一种日志归类分析方法、装置、设备及可读存储介质(57)摘要本发明公开了一种日志归类分析方法，该方法通过对原始日志根据数据字段进行统一结构化重排，实现不同格式不同数据内容下日志的统一处理，消除格式差异，得到结构化日志后根据其重要分词对应的编号，将日志转化为向量形式进行存储，提取共性部分保留独立信息，减少存储成本，然后调用预训练的神经网络模型对所述日志向量进行日志归类处理，实现了对海量日志分类标记，调用神经网络模型进行特征识别有利于发现日志中的规律和共性问题，方便从海量日志中排查问题，定位故障，同时为后续的功能比如日志异常检测打下基础。本发明还公开了一种日志归类分析装置、设备及可读存储介质，具有相应的技术效果。CN112613309ACN112613309A权利要求书1/2页1.一种日志归类分析方法，其特征在于，包括：获取待分析的原始日志；解析所述原始日志中的所有数据字段，并根据所述数据字段对所述原始日志进行结构化重排，得到结构化日志；提取所述结构化日志中的所有分词；筛选出所述分词中的重要分词，并确定所述重要分词对应的分词编号；将所述重要分词对应的分词编号，按照所述重要分词在所述原始日志中的排布顺序进行日志表示，得到日志向量；调用预训练的神经网络模型对所述日志向量进行日志归类处理，得到归类化后的日志。2.根据权利要求1所述的日志归类分析方法，其特征在于，筛选出所述分词中的重要分词，并确定所述重要分词对应的分词编号，包括：确定所述原始日志的信息统计类型；判断是否存在所述信息统计类型对应的分词库；若存在所述分词库，判断所述分词是否在所述分词库中存在对应项；若存在对应项，将存在对应项的分词作为重要分词，并对照所述分词库提取所述重要分词对应的分词编号。3.根据权利要求2所述的日志归类分析方法，其特征在于，还包括：获取所述分词中不存在对应项的分词，作为差异分词；接收用户对于所述差异分词中重要分词以及无关分词的指定；将用户指定的所述差异分词中重要分词创建对应的分词编号，并添加至所述分词库中。4.根据权利要求2所述的日志归类分析方法，其特征在于，若不存在所述信息统计类型对应的分词库，该方法包括：提取所述结构化日志中包含的分词，并删除所述分词中的重复项，生成分词全表；接收用户对于所述分词全表中无关分词的删除指令，从所述分词全表中删除所述无关分词，作为重要分词表；对所述重要分词表中各分词创建对应的分词编号，得到分词库，并执行所述判断所述分词是否在所述分词库中存在对应项的步骤。5.根据权利要求2所述的日志归类分析方法，其特征在于，若不存在所述信息统计类型对应的分词库，该方法包括：提取所述结构化日志中包含的分词，并统计各所述分词对应的出现次数，生成分词频率统计表；删除所述分词频率统计表中出现次数低于阈值的分词，生成高频分词统计表；对所述高频分词统计表中各分词创建对应的分词编号，得到分词库，并执行所述判断所述分词是否在所述分词库中存在对应项的步骤。6.根据权利要求1所述的日志归类分析方法，其特征在于，所述解析所述原始日志中的所有数据字段，包括：确定所述原始日志的数据字段排布类型；2CN112613309A权利要求书2/2页获取所述数据字段排布类型对应的解析规则；调用所述解析规则对所述原始日志进行数据字段提取。7.根据权利要求1所述的日志归类分析方法，其特征在于，所述调用预训练的神经网络模型对所述日志向量进行日志归类处理，得到归类化后的日志，包括：调用预训练的LVQ神经网络模型对所述日志向量进行日志归类处理，得到归类化后的日志。8.一种日志归类分析装置，其特征在于，包括：日志获取单元，用于获取待分析的原始日志；日志结构化单元，用于解析所述原始日志中的所有数据字段，并根据所述数据字段对所述原始日志进行结构化重排，得到结构化日志；分词提取单元，用于提取所述结构化日志中的所有分词；编号确定单元，用于筛选出所述分词中的重要分词，并确定所述重要分词对应的分词编号；向量表示单元，用于将所述重要分词对应的分词编号，按照所述重要分词在所述原始日志中的排布顺序进行日志表示，得到日志向量；归类分析单元，用于调用预训练