基于流数据挖掘的网络流量异常检测及分析研究.pdf

万方数据

C㈣MANAGEMENF基于流数据挖掘的网络流量异常检测及分析研究魏桂英，姜亚星(北京科技大学经济管理学院，中国北京，100083)引言随着Intemet的快速发展与日益普及，越来越多的信息通过网络来传输和存储，网络安全越来越重要。网络流量异常检测及分析是网络及安全管理领域的重要研究内容。网络流量突发异常是指网络业务流量突然出现的不正常的重大变化。及时发现网络流量的突发异常变化对于快速定位异常、采取后续相应措施具目前网络规模和速度的不断增加，流量突发异常检测算法需要实时准确地分析处理海量的网络业务量数据，具有很大的挑战性。流数据模型的提出⋯，使得采用流数据模型来描述网络通信量，解决现有网络流量异常检测模型存在的不足成为可能，基于流数据挖掘的网络流量异常检测及分析得到了广泛的研究。1．1网络流量异常分类网络流量异常是指对网络正常使用造成不良影响的网络流量模式，常见的网络流量异常有如下几类：(1)网络扫描。网络扫描是一种常见的网络异常流量，它表现为在单位时间内，同一个源IP访问大量不同的目标IP或同一目标IP的不同端口，目标IP通常是连续的。(2)DDoS攻击。拒绝服务攻击通常以消耗服务器端资源，迫使服务停止响应为目标。它表现为大量不同的源IP对同一目标IP发送数据包。单位时间内数据包的量大，数据包长度长，占用大量的带宽资源。(3)网络蠕虫病毒。蠕虫病毒利用操作系统的漏洞主动传播，并且可以在局域网或者广域网内以多种方式传播。这种网络蠕虫病毒的攻击方式，除了造成大量的网络流量外，也会消耗大量的系统资源。而且这类异常通过局部链路上的流量测量数据很难检测，往往需要对全网的流特征进行分析或采用全网的流量统计分析方法进行检测。(4)由网络故障和性能问题造成的异常。典型的网络性能异常是文件服务器故障、网络内存分页错误、广播风暴和瞬间拥塞等引发的网络流量行为的异常。另外，恶意下载、对网络资源的不当使用，会造成流量异常，导致网络带宽浪费。1．2网络流量异常检测方法近年来，有很多针对网络流量异常检测的研究工作，概括起来，针对网络流量异常检测的方法主要有以下几。种心】：基于特征／行为的研究方法、基于统计的异常检测、基于机器学习的方法和基于数据挖掘的方法等。基于特征／行为的检测研究通过在网络流量数据中查找与异常特征相匹配的模式来检测异常。因此需要分类描述网络异常的流量的特征及行为特征、构造蠕虫分类和DDoS攻击行为等，其缺点是无法检测出未知的攻击类型，而且需要对规则特征库不断进行更新。基于统计的研究不需要事先知道异常的特征，使用时间序列的流量数据，采用统计分析技术检测异常。机器学习的方法更强调如何基于更新的信息和以前的结果来提高系统的性能，异常检测中常用的机器学习技术包括基于系统调用的序列分析、贝叶斯网路、主成分分析法、马尔可夫模型等。数据挖掘技术可以用来从大量审计数据中挖掘出正常或入侵性质的行为模式”J。后3种异常检测的方法是对正常的系统网络行为进行建模，通过与正常模型的比较来进行异常检测，因此能有效地发现已知和未知的攻击。上述传统网络异常检测方法，通常是建立在对整个数据集进行等同学习的基础上的，检测结果受历史数据2009年8月第12卷第15期中国管理信息化[摘要]网络流量异常检测及分析是网络及安全管理领域的重要研究内容。本文探讨了网络流量异常的种类、网络流量异常检测的方法，分析了基于传统检测方法在网络流量异常检测应用中存在的问题。并重点对基于流数据模型的网络流量异常检测进行了研究，综述了已有流数据挖掘研究方法在网络流量异常检测中的研究进展。最后，本文对现有研究工作存在的问题及未来的研究方向进行了探讨。[关键词】网络异常；异常检测；流数据；流数据挖掘[中图分类号]TP274；Tit393．06[文献标识码】A[文章编号】1673—0194(2009)15—0039一04有重要意义。INFORMATIONIZATION／39doi：10．3969／j．issn．1673—0194．2009．15．0121[收稿日期】2009—06—18[作者简介】魏桂英(1969一)，女，北京科技大学经济管理学院讲师，在读博士，主要研究方向：数据挖掘、网络安全与管理、信息系统。ChinaManagementInformationizationAug．。2009V01．12，No．15
万方数据

数据分析3．1基于流数据概要结构设计的研究MANAGEMEA丌丑岈．0尺_MAllo，忆A刀oN3。4基于频繁项挖掘的方法的影响较大，难以真实反映当前网络数据的行为特征。而检测网络异常行为是否发生，通常根据最近的网络行为就可以做出判断，并不依赖于整个历史数据集。另外，现有异常检测算法的时间、空间复杂性较高，且受内存等系统资源的限制，难于对持续、快速到达的大规模原