基于Hadoop的全网络流量异常监测算法研究的中期报告.docx

基于Hadoop的全网络流量异常监测算法研究的中期报告
中期报告
一、课题研究进展
本次研究是基于Hadoop的全网络流量异常监测算法研究，旨在通过对网络流量数据的监测与分析，有效地识别网络安全事件，提升网络安全保障能力。在项目进行的过程中，我们已经完成了如下工作：
1.网络流量数据采集
采用Tshark程序对网络中的数据包进行抓取，将数据包转换为文本格式，以便进行后续处理。
2.Hadoop集群搭建
我们使用了3台虚拟机搭建了一个Hadoop集群环境，其中一台为主节点，其余两台为从节点。通过配置Hadoop的相关参数，使得数据可以在集群中高效地进行处理。
3.Hadoop程序编写
我们使用Java语言编写了针对网络流量数据处理的Hadoop程序，主要涉及到MapReduce框架的实现。我们将采集到的数据分成多个块，让每个Map任务只处理其中一部分数据，减小处理的数据量，使整个程序在集群中运行得更为高效。
二、下阶段工作计划
在已经完成的工作的基础上，下阶段的工作计划如下：
1.完成异常检测算法的研究与实现
我们将继续研究基于Hadoop的全网络流量异常监测算法，完善算法的实现，并且进行实验验证。
2.设计并实现可视化界面
在异常检测算法完成后，我们将设计并实现可视化界面，在界面上展示监测结果，并提供用户友好的操作接口，使用户能够直观地了解网络安全情况。
3.进行全面性能测试
我们将针对已经实现的算法和界面，进行全面性能测试，评估系统的性能指标，并对实验结果进行分析。
4.完成论文的撰写
我们将在完成以上工作的基础上，撰写关于基于Hadoop的全网络流量异常监测算法的论文，总结工作成果，体现研究的价值。