大数据分析态势感知.pdf

大数据分析态势感知

北京金睛云华科技有限公司致力于利用UEBA、大数据和人工智

能技术在网络安全领域持续创新，为客户提供全流量高级威胁检测

和大数据安全分析等产品与解决方案，是以“AI驱动安全”为理念

的新一代网络安全公司。

公司在北京和沈阳两地设有研发中心,持续研发基于大数据人工

智能技术的新一代网络安全产品,包括全流量高级威胁检测产品

(ATD)、全流量回溯分析取证产品(TFS)、大数据威胁情报云(CTI)、

大数据安全分析&态势感知系统(CIC)、主机威胁取证产品(HTD)以及

网络安全人工智能平台(Deep-Insight)等，是国家高新技术企业和

中关村高新技术企业。截至2019年底，金睛云华产品服务的客户已

经超过300家，现网运行的系统超过2000套，覆盖公安、国安、保

密、网信、ID、电力、广电、运营商、金融、能源、大企业、大型

活动安保、教育、互联网等领域。

一传统安全技术面临的挑战

（一）什么是威胁情报、大数据安全分析和态势感知？

1.威胁情报是基于证据的知识，包括了情境、机制、指标、隐

含和可行的建议。这些知识是关于现存的、或者是即将出现的针对

资产的威胁或危险，可为主体响应相关威胁或危险提供决策信息。

——Gartner

2.大数据安全分析的目标是实时获得可行动的情报，可以被用

来促进信息安全和态势感知。——CloudSecurityAlliance(CSA)

3.在安全领域，态势感知是指广泛采集和收集网络中的安全状

态和事件信息，并加以处理、分析和展现，从而明确当前网络的总

体安全状况，为大范围的预警和响应提供决策支持的技术。

（二）传统安全平台在安全分析和态势感知的不足

1.数据不足和检测能力缺失

传统安全平台只有事件与告警数据，通常只对事件日志进行关

联，如进一步做数据安全检测，缺少元数据

没有丰富的网络安全情报

2.无法处理海量多源数据

传统安全平台事件采集与分析能力约5K–10Keps（事件/秒），

不能满足新时期海量数据的处理需求

存储周期短，处理能力不足，无法进行长时间窗的关联分析和

检测

3.不易溯源取证

攻击发生中，发生后只有告警，无法有效溯源，没有相关数据

基于事件表形式的溯源，不易使用

二大数据安全分析和态势感知解决方案

（一）大数据安全分析与态势感知八大要素

1.基于大数据平台2.数据多维/质量高3.跨越时间和空间4.机

器学习+深度学习5.态势觉察（现在）6.态势理解（过去）7.态势

预测（未来）8.可解释、可追溯

（二）大数据安全分析与态势感知解决方案逻辑架构

大数据安全分析与态势感知解决方案逻辑架构包含数据采集

层、数据处理层、数据存储层、接口层、业务交互层六个不同的层

级。

（三）大数据安全分析与态势感知解决方案部署方案

大数据安全分析与态势感知解决方案部署方案分为7个区块，

串联交互，协同运作。

（四）省、市、区城域网态势感知

省、市、区城域网态势感知分为4个区块，局域网端信息通过

分流平台进入ATD高级威胁检测系统，再与CIC大数据安全分析系

统、CTI大数据威胁情报系统进行信息交互。

（五）重保系统态势感知

重保系统态势感知是CIC大数据安全分析系统、CTI大数据威

胁情报系统与重报系统（ATD高级威胁检测系统、TFS全流量威胁取

证系统）的交互。

三方案亮点

（一）大数据和人工智能平台：实现海量数据处理与分析

1.安全产品，即高级威胁检测系统（ATD）、大数据安全分析系

统（CIC）、大数据威胁情报系统（CTI）、全流量威胁取证系统

（TFS）；

2.AI安全模型，支持钓鱼检测、web攻击检测、基因检测、DGA

检测、行为模式库生成（沙箱）、未知协议流量与应用识别、网络异

常检测、攻击成功判定等内容；

3.AI算法引擎，涵盖深度学习训练模块、机器学习训练模块、

TensorFlow、MLlib（Spark）等内容；

4.Panku（盘古）安全大数据平台，包含实时关联引擎、异常检

测引擎、任务调度引擎、存储管理引擎、CDH、HDP、

Fusionlnsight、Apache等内容。

（二）高级威胁检测系统（ATD）：采集、检测流量形成元数据

1.网络异常检测：C&C通讯检测、DGA域名检测、DDoS攻击检

测

2.下一代入侵检测：协议分析还原、Web安全检测、漏洞攻击

检测

3.Multi-AV检测：病毒检测、木马检测

4.基因图谱检测：病毒变种检测、木马变种检测

5.沙箱行为检测：新型病毒检测、新型木马检测

6.威胁情报检测：恶意IP检测、恶意域名检测、恶意URL检

测、恶