一种基于特征降维的移动网络流量异常检测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113747441A(43)申请公布日2021.12.03(21)申请号202110888057.X(22)申请日2021.08.03(71)申请人西安交通大学地址710049陕西省西安市咸宁西路28号(72)发明人张娇阳孙黎(74)专利代理机构西安通大专利代理有限责任公司61200代理人张海平(51)Int.Cl.H04W12/121(2021.01)H04L29/06(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图5页(54)发明名称一种基于特征降维的移动网络流量异常检测方法及系统(57)摘要本发明公开了一种基于特征降维的移动网络流量异常检测方法及系统，包括：根据城市基站分布，将城市区域划分为M×N的网格区域，使用pandas聚合每个网格区域的蜂窝流量值，得以小时为单位的蜂窝流量总值；将检测时间段划分为K个时隙，形成时间序列向量，将所述时间序列向量作为原始蜂窝流量向量xj；使用LSTM自编码器对所有网格区域的原始蜂窝流量向量xj提取低维流量特征cj；确认所有网格区域对应的低维流量特征中的可疑异常的低维流量特征；使用K‑means聚类对可疑异常的低维流量特征进行异常确认，完成基于特征降维的移动网络流量异常检测，该方法及系统能够实现移动网络流量的异常检测，且具有处理区域数量多及处理数据时间短的特点。CN113747441ACN113747441A权利要求书1/2页1.一种基于特征降维的移动网络流量异常检测方法，其特征在于，包括以下步骤：根据城市基站分布，将城市区域划分为M×N的网格区域，其中，M及N均为正整数，使用pandas聚合每个网格区域的蜂窝流量值，得以小时为单位的蜂窝流量总值；将检测时间段划分为K个时隙，形成时间序列向量，将所述时间序列向量作为原始蜂窝流量向量xj；使用LSTM自编码器对所有网格区域的原始蜂窝流量向量xj提取低维流量特征cj；确认所有网格区域对应的低维流量特征中的可疑异常的低维流量特征；使用K‑means聚类对可疑异常的低维流量特征进行异常确认，完成基于特征降维的移动网络流量异常检测。2.根据权利要求1所述的基于特征降维的移动网络流量异常检测方法，其特征在于，检测时间段分为672个时隙。3.根据权利要求1所述的基于特征降维的移动网络流量异常检测方法，其特征在于，对T于任意的网格区域j，原始蜂窝流量向量xj＝[xj[1],xj[2]Lxj[p]Lxj[K]]，其中，xj[p]表示网格区域j在第p小时内的手机流量总值。4.根据权利要求1所述的基于特征降维的移动网络流量异常检测方法，其特征在于，LSTM自编码器的编码部分每步输入24维流量向量，共输入28步，隐藏层设置为3层；编码所得流量特征为2维向量；将特征向量逐步输入解码器中，共输入28步，解码器的隐藏层设置为3层，得重构数据；将输入自编码器的流量数据与自编码器输出的重构数据的均方误差作为优化目标训练LSTM自编码器。5.根据权利要求1所述的基于特征降维的移动网络流量异常检测方法，其特征在于，使用K‑means聚类对可疑异常的低维流量特征进行异常确认的具体过程为：利用各可疑异常的低维流量特征形成异常簇；采用戴维堡丁指数DBI确定最佳聚类数，再使用欧氏距离度量样本距离，以此为聚类划分准则，将聚类质心最大且同一簇中样本量最少的样本标记为异常的低维流量特征，同时确认网格中异常的低维流量特征发生的时间段。6.一种基于特征降维的移动网络流量异常检测系统，其特征在于，包括以下步骤：分类模块，用于根据城市基站分布，将城市区域划分为M×N的网格区域，其中，M及N均为正整数，使用pandas聚合每个网格区域的蜂窝流量值，得以小时为单位的蜂窝流量总值；划分模块，用于将检测时间段划分为K个时隙，形成时间序列向量，将所述时间序列向量作为原始蜂窝流量向量xj；提取模块，用于使用LSTM自编码器对所有网格区域的原始蜂窝流量向量xj提取低维流量特征cj；初步确认模块，用于确认所有网格区域对应的低维流量特征中的可疑异常的低维流量特征；异常确认模块，用于使用K‑means聚类对可疑异常的低维流量特征进行异常确认，完成基于特征降维的移动网络流量异常检测。7.根据权利要求5所述的基于特征降维的移动网络流量异常检测系统，其特征在于，检测时间段分为672个时隙。8.根据权利要求5所述的基于特征降维的移动网络流量异常检测系统，其特征在于，对2CN113747441A权利要求书2/2页T于任意的网格区域j，原始蜂窝流量向量xj＝[xj[1],xj[2]Lxj[p]Lxj[K]]，其中，xj[p]表示网格区域j在第p小时内的手机