一种基于大数据的数据管理方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115757337A(43)申请公布日2023.03.07(21)申请号202211426068.7G06F11/34(2006.01)(22)申请日2022.11.14(71)申请人深圳市联合欣业科技有限公司地址518110广东省深圳市龙华区观澜街道环观南路72-1创客大厦423A-425(72)发明人齐庆杯李媛杨远(74)专利代理机构深圳市六加知识产权代理有限公司44372专利代理师刘慧(51)Int.Cl.G06F16/21(2019.01)G06F16/215(2019.01)G06F16/2455(2019.01)G06F16/2458(2023.01)G06F18/25(2019.01)权利要求书2页说明书11页附图2页(54)发明名称一种基于大数据的数据管理方法及系统(57)摘要本公开实施例公开了一种基于大数据的数据管理方法及系统。其中，该方法包括根据预设的日志清洗模块对原始日志集执行数据清洗，得到目标日志集；根据预设的日志监控模块对所述目标日志集的关键字段进行分析，得到日志关联规则；根据所述日志关联规则构建侯选监控模型，并提取所述侯选监控模型的融合特征；根据所述融合特征对原始监控模型的特征进行知识蒸馏处理，得到目标监控模型；其中，所述侯选监控模型和原始监控模型均用于对待处理日志进行监控。该方法/系统能够帮助日志监控系统节省系统资源和更加精准的发现日志的异常行为。CN115757337ACN115757337A权利要求书1/2页1.一种基于大数据的数据管理方法，其特征在于，包括：根据预设的日志清洗模块对原始日志集执行数据清洗，得到目标日志集；根据预设的日志监控模块对所述目标日志集的关键字段进行分析，得到日志关联规则；根据所述日志关联规则构建侯选监控模型，并提取所述侯选监控模型的融合特征；根据所述融合特征对原始监控模型的特征进行知识蒸馏处理，得到目标监控模型；其中，所述侯选监控模型和原始监控模型均用于对待处理日志进行监控。2.根据权利要求1所述的基于大数据的数据管理方法，其特征在于，所述根据预设的日志清洗模块对原始日志集执行数据清洗，包括：根据预设的多源异构归一化原则判断所述原始日志集的各条原始日志是否匹配预设的规则池中所有规则；若匹配成功，则将匹配后的原始日志放入所述日志清洗模块的归一化资源池。3.根据权利要求2所述的基于大数据的数据管理方法，其特征在于，所述根据预设的多源异构归一化原则判断所述原始日志集的各条原始日志是否匹配预设的规则池中所有规则，包括：将所述多源异构归一化原则的配置文件抽象为解析目标；根据所述规则对象对各条所述日志创建归一化处理任务；执行所述归一化处理任务并判断各条所述日志是否匹配所述规则池的所有规则。4.根据权利要求3所述的基于大数据的数据管理方法，其特征在于，还包括：若根据预设的多源异构归一化原则判断所述原始日志集的任一原始日志与所述规则池的所有规则匹配失败后，则丢弃所述匹配失败的日志。5.根据权利要求4所述的基于大数据的数据管理方法，其特征在于，所述根据预设的日志监控模块对所述目标日志集的关键字段进行分析，得到日志关联规则，包括：将所述目标日志集的关键字段转换成可识别数据；根据预设的FP‑Growth算法对所述可识别数据进行挖掘，得到所述日志关联规则。6.根据权利要求5所述的基于大数据的数据管理方法，其特征在于，所述根据预设的FP‑Growth算法对所述可识别数据进行挖掘，得到所述日志关联规则，包括：将所述可识别数据按照支持度进行排序，根据所述FP‑Growth算法对排序后的所述可识别数据扫描一次，获取扫描结果；根据所述扫描结果设置关联规则的挖掘参数，利用设置好挖掘参数的所述关联规则对所述可识别数据进行挖掘，输出所述目标日志集的日志关联规则。7.根据权利要求1所述的基于大数据的数据管理方法，其特征在于，所述提取所述侯选监控模型的融合特征，包括：利用预设的多特征融合提取器对所述侯选监控模型的各个模块的特征进行提取，得到所述侯选监控模型的融合特征。8.根据权利要求1所述的基于大数据的数据管理方法，其特征在于，所述根据所述融合特征对原始监控模型的特征进行知识蒸馏处理，得到目标监控模型，包括：根据所述融合特征的网络和预设的知识蒸馏损失函数，对所述原始监控模型的网络进行蒸馏训练，得到所述目标监控模型。2CN115757337A权利要求书2/2页9.根据权利要求1所述的基于大数据的数据管理方法，其特征在于，在所述得到目标监控模型之后，该方法还包括：根据所述目标监控模型对获取的待处理日志进行监控，得到监控结果。10.一种基于大数据的数据管理系统，其特征在于，包括：数据清洗模块：用于根据预设的日志清洗模块对原始日志集执行数据清洗，得到目标日