日志数据处理方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114328106A(43)申请公布日2022.04.12(21)申请号202111622151.7(22)申请日2021.12.28(71)申请人天翼云科技有限公司地址100007北京市东城区青龙胡同甲1号、3号2幢2层205-32室(72)发明人薛强陈孝委吴学含李贵斌李家伟(74)专利代理机构北京律智知识产权代理有限公司11438代理人孙宝海阚梓瑄(51)Int.Cl.G06F11/30(2006.01)G06N3/04(2006.01)权利要求书3页说明书14页附图9页(54)发明名称日志数据处理方法、装置、设备及存储介质(57)摘要本公开提供一种日志数据处理方法、装置、电子设备及存储介质，涉及运维技术领域。该方法包括：获取通过对第一日志数据按照目标频率词进行聚类处理获得的日志键及其对应的类别标识；根据日志键及其对应的类别标识获得包括第一日志类别标识和第二日志类别标识的待处理日志数据的日志类别序列，在待处理日志数据的日志类别序列中第一日志类别标识排在第二日志类别标识之前；通过目标深度学习模型对待处理日志数据的日志类别序列进行处理，获得第一日志类别标识的预测后序日志类别标识；将第二日志类别标识与预测后序日志类别标识进行比较，以检测第二日志类别标识对应的日志数据是否异常。该方法实现了高效检测日志数据的异常。CN114328106ACN114328106A权利要求书1/3页1.一种日志数据处理方法，其特征在于，包括：获取日志键及其对应的类别标识，所述日志键通过对第一日志数据按照目标频率词进行聚类处理获得；根据所述日志键及其对应的类别标识获得待处理日志数据的日志类别序列，所述待处理日志数据的日志类别序列包括第一日志类别标识和第二日志类别标识，在所述待处理日志数据的日志类别序列中所述第一日志类别标识排在所述第二日志类别标识之前；通过目标深度学习模型对所述待处理日志数据的日志类别序列进行处理，获得所述第一日志类别标识的预测后序日志类别标识；将所述第二日志类别标识与所述预测后序日志类别标识进行比较，以检测所述第二日志类别标识对应的日志数据是否异常。2.根据权利要求1所述的方法，其特征在于，所述日志键通过对第一日志数据按照目标频率词进行聚类处理获得，包括：将所述第一日志数据划分为多条日志数据，所述第一日志数据包括所述待处理日志数据；将所述第一日志数据的多条日志数据中包括相同的目标频率词的单条日志数据聚为同一类，获得各类日志数据中相同的目标频率词为所述日志键；对所述各类日志数据的日志类别进行编号，获得所述日志键对应的类别标识。3.根据权利要求2所述的方法，其特征在于，还包括：统计所述第一日志数据中多个词各自出现的频率；获取多个从小到大依次排列的第二预设频率阈值；从多个所述第二预设频率阈值中确定所述第一预设频率阈值，以使若将所述第一日志数据中出现的频率高于第一预设频率阈值的词作为所述目标频率词，则将所述第一日志数据的多条日志数据按照所述目标频率词进行聚类获得的日志类别的数量在预设范围内。4.根据权利要求1所述的方法，其特征在于，根据所述日志键及其对应的类别标识获得待处理日志数据的日志类别序列，包括：将所述待处理日志数据按照线程标识划分为多条日志数据；将所述待处理日志数据的各条日志数据与所述日志键进行匹配，获得所述待处理日志数据的各条日志数据对应的类别标识；根据所述线程标识将所述各条日志数据对应的类别标识按照时间先后顺序进行排序，获得所述待处理日志数据的日志类别序列；通过目标深度学习模型对所述待处理日志数据的日志类别序列进行处理，包括：利用随机数生成方法获得目标序列长度；按照所述目标序列长度将所述待处理日志数据的日志类别序列划分为多个待处理日志会话，所述待处理日志会话包括所述第一日志类别标识和所述第二日志类别标识，所述第一日志类别标识为包括多个日志类别标识的第一日志类别标识序列；将所述第一日志类别标识序列输入所述目标深度学习模型，通过所述目标深度学习模型对所述第一日志类别标识序列的后序日志类别标识进行预测。5.根据权利要求4所述的方法，其特征在于，所述目标深度学习模型包括目标变换器网络和目标全连接层，所述目标变换器网络包括词嵌入层、编码器和解码器；2CN114328106A权利要求书2/3页将所述第一日志类别标识序列输入所述目标深度学习模型，通过所述目标深度学习模型对所述第一日志类别标识序列的后序日志类别标识进行预测，包括：将所述第一日志类别标识序列输入所述目标变换器网络，通过所述词嵌入层获得所述第一日志类别标识序列的词向量；对第一日志类别标识序列的词向量进行位置编码，获得编码器输入向量；将所述编码器输入向量依次通过所述编码器和所述解码器进行编码和解码处理，获得解码