基于大数据分析的网络威胁主动防御.docx

基于大数据分析的网络威胁主动防御杨晓林++邵康++韦绍毅摘要本文主要阐述了在大数据分析平台的基础上，为企业建立主动防御化的网络安全监控、防御平台，做到可以实时、动态、主动地应对来自网络的安全威胁。本文通过主动防御的背景、平台主要架构、每个架构的设计构成以及主动架构的技术依据几方面介绍主动防御平台，本文研究的内容已经有较为成熟的构架和方案，可以为企业搭建初步的主动防御安全平台模型。【关键词】网络安全大数据主动防御信息化已经成为当前最重要的资源之一，在影响着社会发展的同时也日益成为国与国之间相互争夺的重点，信息系统已经成为了各国企事业单位发展国民经济必须依赖的支撑力量，网络已经成为国家各企事业单位发展经济的重要基础，这使得网络安全越来越成为国家安全的关键环节。在能源电力领域，美国曾利用“震网”蠕虫病毒攻击伊朗的铀浓缩设备，已经造成伊朗核电站推迟发电，目前国内已有近500万网民、及多个行业的领军企业遭此病毒攻击。这使得大部分能源企业对此表示担心。而在这种网络威胁的防御方面，目前的解决办法基本上属于单纯的堆积安全设备，在网络安全边界部署防火墙、入侵防御、流量清洗等设备，这样做只能抵御简单、常规的网络攻击，对于高级黑客攻击者发起的APT攻击、利用“零日”漏洞发起的攻击以及大流量的DDOS攻击，目前的方案难以解决此类场景。本文将深入研究目前新的网络攻击特点，利用前沿的数据处理技术，搭建基于数据的网络威胁发现、分析平台，并利用该平台对新的网络攻击进行主动式的拦截和防御。1主动防御的主要构架业务架构从业务角度对集中监测、预警与审计平台的核心业务进行细化、抽象、归纳、总结，形成整体业务能力视图，为应用架构和数据架构提供关键输入；应用架构基于业务架构，从集中监测、预警与审计平台应用功能的角度定义应用功能、应用划分和应用分布，形成集中监测、预警与审计平台应用架构视图；数据架构基于业务架构和应用架构，从集中监测、预警与审计平台数据支撑的角度对数据分类、数据存储、数据流转等方面进行规划设计；技术架构基于应用架构和数据架构，从平台技术实现的角度定义集中监测、预警与审计平台组件、集成关系、部署方式和系统安全防护体系。2业务架构实现对网络攻击的主动防御，须对企业所有网络设备、服务器、现有的安全设备的各方面状态（包括负载状态、性能状态、设备访问日志、安全日志、网络流量等）进行深度的实时监控；对监控收集到的数据进行分析，根据分析结果进行预警，最后得到结果并下发策略对网络攻击进行主动防御。3应用架构应用架构设计承接业务架构设计内容，根据企业集中安全监测、预警与审计平台的核心业务的需求，通过对业务需求点的总结、分析和归纳，提炼出对应的功能，形成情报管理、数据采集管理、数据安全分析、资产管理、整体展示、系统管理、告警管理、主动防御的应用架构视图，为后续数据架构设计提供必要的指导和输入。4数据架构从数据应用的不同角度对数据进行分类，不同类别的数据在存储、计算、传输时对应不同的要求和技术实现手段。根据一般企业数据分类原则，对数据进行划分为环境数据、业务数据、流转数据、非流转数据。5技术架构5.1平台逻辑结构根据数据的处理过程，主动防御的实现基础，统计监测预警审计平台在逻辑层面从下到上分为：数据处理层、数据分析层、展示和业务层三部分。如下图所示。5.2数据采集分析结构精确的网络攻击预测和主动防御依赖于对海量数据进行准确的计算，如图，主动防御平台在数据的采集、存储、分析方面设计了严密的逻辑处理流程。网络报文、日志数据分别采用netflow、syslog、webservice收集，收集到的数据通过flume或ftpd进行传输进入到数据预处理队列kafka中，对于收集到的文件直接保存到文件存储PARQUET中。数据队列中所保存的为原始数据，数据队列进行本地缓存以便进行后续处理。原始数据收集后进入到流计算框架中进行数据处理。在流计算框架中，首先进行数据的解析与转换，之后对于某些原始数据进行增强，增加某些关键数据使其具备更丰富的价值。原始数据经过以上两部分处理后一方面创建索引，同时进行数据保存，与此同时流计算框架进行实时告警计算。增强数据的索引保存到ElasticSearch中，同时将数据保存到PARQUET中。索引通过查询的方式进行调用展现。增强后的数据进入消息队列中重新返回到流计算框架，此时对该数据进行一定的过滤，使其满足后续的关联规则。通过关联规则实现对数据的分析工作，关联规则来自于场景模型。关联分析后的数据保存到相应的数据存储中进行数据保存，同时对于某些情况触发相应告警。告警数据包含基于规则的告警信息、关联分析产生的告警信息、机器学习产生的告警、重度汇总产生的告警，所有的告警数据统一进行缓存，统一进行告警处置。原始数据、场景模型、处理数据以及告警数据都是保存到PARQUET中