基于大数据的网络安全与情报探讨.docx

基于大数据的网络安全与情报探讨王春林摘要在通信技术、IT技术快速发展的作用下，网络环境复杂度不断提高，网络攻击持续性、破坏性、隐秘性等特征APT随之增加。然而，传统互联网安全技术与情报追踪存在问题较多，难以应对现阶段复杂多变的互联网环境。因此，为增强网络数据信息感知能力，提升网络安全检测可靠性与网络情报追踪的真实性，基于大数据的网络安全技术与情报得以衍生。关键词大数据；网络情报追踪；网络安全分析中图分类号TP3文献标识码A文章编号1674-6708（2019）235-0145-021大数据的基本概念大数据（bigdata，megadata）指的是以多种类、多元化的形式，源自于网络各个层面搜集整合而来的海量数据组，大数据通常具有实时性特点。在技术的层面上审视大数据，其本身与云计算具有紧密联系，对于大量数据信息的搜索极大的依赖于云计算分布式数据库、云端储存和分布式处理技术。现阶段，人类已经入科技高度发达、信息流通广泛、发展迅速的全新社会形态，人与人之间的交流频率相对百年前提高了近20倍，现代人一周获取信息的总量相当于古人一生的信息获取量，与此同时，大数据在科学技术不断进步的背景下得以衍生。有学者将数据比作为一个蕴含巨大能量的石油矿，并按站石油的性质对大数据进行分类，例如，将深海石油等的开采成本较高的矿井，比喻为搜集难度较大的数据信息。再如，将石油储量豐富、石油品质优良的油矿比喻为价值含量较高的大数据信息。2传统网络情报与安全探究工作存在的问题2.1传统网络安全分析中存在的问题随网络技术的发展，IT构架复杂度不断提高，各种各样应用频频涌现，使业务与数据更加集中，应用与互联网的边界也随之模糊，边界单一、控制点简洁的传统网络安全设施无法实际、高效的对整个互联网进行控制。现阶段，我国网络流量、安全日志等数据信息合理应用于网络安全分析的技术已经较为成熟，然而，因为储存与分析海量数据信息所带来的成本消耗极高，系统安全日志对数据信息的储存受时间限制严重，进而对网络安全问题难以实现实质性应对。同时，在利益的趋势下网络黑客攻击方式不断优化，技术呈复杂多变特点，特殊木马病毒、僵尸网络、特殊蠕虫病毒以及多种多样的互联网攻击逐利性与目的性凸显，然而，传统网络病毒排查、检测具有隐蔽性和长期性缺点，难以阻挡当今千变万化的互联网攻击形式。2.2传统网络情报追踪中存在的问题在通信、移动互联网、云计算、物联网等多种现代信息技术飞速发展的背景下，互联网中存在的威胁性情报信息不断增加，陈旧的情报分析设备由于数据来源范围小、内容单一且信息之间相对独立，致使难以满足现阶段新型情报采集与分析的客观需求。例如，构建高质量、高效率的人工智能外部数据信息搜索系统；对外部信息大量采集过程中非系统化数据的储存与处理；开展高速检索、实时情报追踪等。3大数据对网络安全与情报分析的重要意义为提高网络安全与情报分析的实效性，相关研究人员将大数据与传统网络安全技术相结合，实现大数据在网络安全领域的现实应用，即大数据安全分析（Bigdatasecurityanalysis）。大数据安全分析技术的诞生，极大地改善了传统网络安全问题。首先，大数据安全分析大幅提升了传统网络安全技术无法做到的大规模数据搜集，实现了降低数据储存成本、提高数据储存质量以及数据提前处理。其次，解决了快速、海量、连续到达的数据序列——流数据（Datastream）的实时有效分析，以及大规模过往历史数据信息的离线分析，并具备良好的网络安全动态洞察能力，实现了自主化、弹性化、智能化应对当今新型网络威胁种种风险变幻莫测特点的能力。最后，实现了大数据网络安全技术对网络安全日志、威胁情报、网络用户操作行为等复杂多样且具有关联性数据的检索功能，使网络大范围、多角度、全方位的数据信息得以集中分析，并为安全检测完成了安全事件深入追踪与研究的工作。4基于大数据的网络安全与情报分析技术要点4.1大数据计算模式分类大数据对网络数据的计算形式分为两种，一种是批量计算，另一种则是流计算。美国伊利诺伊大学厄本那香槟分校（UniversityofIllinois，Urbana-？ChampaignUrbana，IL）计算机实验室提出了关于数据分析的软件栈，站在大数据信息科学计算的视角，将大数据现实处理技术分为批量数据、流数据技术以及数据信息查询交互系统3个方面。4.2大数据计算模式分类基本性能分析首先，批量数据计算处理技术，是先通过对海量信息数据的储存，实现对静止数据的综合性集中计算，提高了海量数据信息处理吞吐量，批量数据计算虽然繁琐复杂，但是时间却较短，普遍计算时间从几分钟到几小时不等。其次，流数据计算技术的优势在于可对数据进行及时性计算、及时性反馈，良好的迎接连续到达的数据序列并在内存中加以直接计算，大幅降低数据计算拖延性，提高网络安全技术时效性。与此