基于数据归并的多源异构电力日志分析方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115794762A(43)申请公布日2023.03.14(21)申请号202211408744.8G06F16/182(2023.01)(22)申请日2022.11.11G06F16/172(2019.01)G06F16/28(2019.01)(71)申请人国网辽宁省电力有限公司大连供电G06F16/26(2019.01)公司G06F18/25(2019.01)地址116001辽宁省大连市中山区中山路G06F16/215(2019.01)102号G06F21/64(2012.01)申请人国家电网有限公司G06Q50/06(2013.01)(72)发明人刘林孙耀徐铭阳王保力王玮赵云杜思瑶阎双叶孙丽圆栾敬钊(74)专利代理机构大连格智知识产权代理有限公司21238专利代理师刘琦张俊杰(51)Int.Cl.G06F16/18(2019.01)权利要求书2页说明书6页附图3页(54)发明名称基于数据归并的多源异构电力日志分析方法(57)摘要本发明公开了一种基于数据归并的多源异构电力日志安全分析方法，首先经由数据层对电力日志进行内容分类，结合日志时间间隔、电力系统安全分区和属性相异度进行数据归并和结构分类；其次，借助Hadoop架构进行持久化存储，并通过storm模块和Hadoop集群的MapReduce分别对电力大数据进行实时和离线分析处理，以实现自动化识别判断出威胁安全事件并在第一时间报警和深度挖据是否有传统安全设备漏报或者无法检测出的新型攻击事件；最后通过用户可视层进行展示。本发明可提高对电力设备状态和故障的分析效率，保障电力系统的安全运行。CN115794762ACN115794762A权利要求书1/2页1.一种基于数据归并的多源异构电力日志分析方法，其特征在于，所述日志分析方法的架构包括：数据层，所述数据层用于完成来自原始电力系统日志的安全采集分类；Hadoop架构层，所述Hadoop架构层用于对数据层采集分类后的电力系统日志进行实时计算处理、离线计算处理和持久化存储；用户可视层，所述用户可视层用于电力系统运行状态的展现和报警；所述日志分析方法的步骤为：S1：将原始电力系统日志输入至数据层；S2：采用数字签名技术对所述原始电力系统日志进行安全性验证；S3：将所述安全性验证后的电力系统日志按照内容划分为管理控制、流量统计和攻击入侵三种类型，并确定各类型日志的属性；S4：依次基于时间间隔、分区来源和属性相异度对所述分类后的电力系统日志进行数据归并；首先，所述基于时间间隔的数据归并是计算接收到两条日志之间的时间间隔，若小于所设定的时间阈值则归并两条日志；其次，对所述时间间隔归并后的电力系统日志进行安全分区，划分为电力系统一区日志、电力系统二区日志与电力系统三区日志；最后对所述电力系统安全分区后的电力系统日志进行属性相异度计算，对低于相异度阈值的日志数据进行归并；S5：对所述数据归并后的电力系统日志进行结构分类，并划分为结构化电力系统日志数据和半/非结构化电力系统日志数据；S6：将所述数据层处理后的电力系统日志输入至Hadoop架构层；S7：实时计算处理中，通过数据转换工具Sqoop组件将所述结构化电力系统日志数据导入Hbase列存储数据库中进行存储，经过Storm集群进行实时解析、关联，并识别判断出表征威胁安全事件的电力系统日志、输出报警结果；通过Flume日志收集系统将所述半/非结构化电力系统数据导入Hive数据库、关系型数据库和非关系型数据库中进行存储，经过Storm集群进行实时解析、关联，并识别判断出表征威胁安全事件的电力系统日志、输出报警结果；S8：离线计算处理中，Mapreduce调用HDFS分布式文件系统所存储的半/非结构化电力系统日志数据并通过对同一设备、节点或终端在不同时间、不同日期的各种日志数据进行关联挖掘分析，发现传统安全设备漏报或者无法检测出的表征威胁安全事件的电力系统日志、输出报警结果；S9：将所述Hadoop架构层的表征威胁安全事件的电力系统日志、报警结果输入至用户可视层；S10：将所述实时计算处理与离线计算处理的表征威胁安全事件的电力系统日志存储在MySQL数据库，并第一时间实施报警动作。2.根据权利要求1所述基于数据归并的多源异构电力日志分析方法，其特征在于，所述数据层处理后的电力系统日志存储在Hbase列存储数据库、Hive数据库、关系型数据库和非关系型数据库的同时，通过Kafka消息队列直接传输至用户可视层的MySQL数据库中，并进行可视化展示；所述可视化展示的内容包括管理控制、流量统计和攻击入侵三种类型日志的总体运行状态及其在所述电力系统安全分区内的局部工作情况。3.根据权利要求1所述基于数据归并的多源异构电力日志分析方法，其特征在