一种蜂窝网络中基于半监督统计的异常检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107979602A(43)申请公布日2018.05.01(21)申请号201711252701.4(22)申请日2017.12.01(71)申请人西安交通大学地址710049陕西省西安市碑林区咸宁西路28号(72)发明人杜清河比拉勒·侯赛因张小沛李军秦鹏翔孙黎任品毅(74)专利代理机构西安通大专利代理有限责任公司61200代理人徐文权(51)Int.Cl.H04L29/06(2006.01)H04W24/08(2009.01)权利要求书3页说明书7页附图8页(54)发明名称一种蜂窝网络中基于半监督统计的异常检测方法(57)摘要本发明公开了一种蜂窝网络中基于半监督统计的异常检测方法，包括以下步骤：1)将被检测地区划分为a行b列的方格，其中，每一方格代表一块区域；2)读取各方格的数据文件，对各方格的数据文件进行预处理，得各方格对应的数据矩阵，选取任意一个数据矩阵作为待检测数据矩阵；3)对待检测数据矩阵进行分解，得训练集、交叉验证集及测试集；4)基于训练集计算特征均值μtrain、特征方差及训练集概率密度5)得最佳阈值ε；6)得测试集概率密度7)判断对应方格是否出现异常；8)直至遍历所有数据矩阵为止，完成蜂窝网络中基于半监督统计的异常检测，该方法能够对蜂窝网络中的异常进行检测。CN107979602ACN107979602A权利要求书1/3页1.一种蜂窝网络中基于半监督统计的异常检测方法，其特征在于，包括以下步骤：1)将被检测地区划分为a行b列的方格，其中，每一方格代表一块区域；2)读取各方格的数据文件，对各方格的数据文件进行预处理，得各方格对应的数据矩阵，选取任意一个数据矩阵作为待检测数据矩阵；3)对待检测数据矩阵进行分解，得训练集、交叉验证集及测试集；4)基于训练集计算特征均值μtrain、特征方差及训练集概率密度5)利用交叉验证集得最佳阈值ε；6)利用测试集得测试集概率密度7)利用测试集概率密度及最佳阈值ε判断对应方格是否出现异常；8)利用训练集概率密度及最佳阈值ε判断对应方格是否出现异常；9)从剩余数据矩阵任意选取一个数据矩阵作为待检测数据矩阵，然后重复步骤3)至步骤8)，直至遍历所有数据矩阵为止，完成蜂窝网络中基于半监督统计的异常检测。2.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法，其特征在于，各方格的CDR数据文件均包括方格ID、时间戳、国家地区代码、收到短信的活动、发送短信的活动、呼入电话的活动、呼出电话的活动及由任何网络流量产生的活动。3.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法，其特征在于，步骤2)的具体操作为：2a)将各方格的CDR数据文件中丢失数据的值设定为0；2b)整合时间戳相同的CDR数据文件，将时间戳相同的CDR数据文件中的收到短信的活动、发送短信的活动、呼入电话的活动、呼出电话的活动整合为一项并用活动代替；将CDR数据文件中的数据以1h为间隔进行统计及记录，则一天的数据分为24组，将D天的数据全部提取，构成D×24的矩阵H，矩阵H中的每一行代表一整天的活动，矩阵H中的每一列代表D天中某一时间段的活动，矩阵H的每个值代表一小时的活动；2c)从矩阵H中提取第h列形成一维矩阵，然后将一维矩阵进行转置，得矩阵Row＝[y1,h,y2,h,…yi,h,…,yD,h]，i表示该元素属于矩阵H的第i行，h表示该元素属于矩阵H的第h列，yi,h表示该元素为第i天中从h-1时到h时的活动。4.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法，其特征在于，将矩阵Row分成三段，得训练集、初始交叉验证集及测试集，其中，训练集为70％的矩阵Row，初始交叉验证集为15％的矩阵Row，测试集为15％的矩阵Row。5.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法，其特征在于，从训练集中获取若干异常值A，再将获取得到的异常值A插入到初始交叉验证集中，得交叉验证集，其中，|A-μtrain|>2σtrain，μtrain为训练集的均值，σtrain为训练集的标准差。6.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法，其特征在于，步骤4)中训练集的概率密度符合均值为μj、方差为的高斯模型，其中，概率密度2CN107979602A权利要求书2/3页m为训练集的矩阵列数，n为训练集的矩阵行数，表示训练集中第j行第i列的元素，由于训练集为一维矩阵，则有训练集的均值训练集的方差训练集的概率密度表示训练集中第i个元素。7.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法，其特征在于，步骤5)的具体操作为：5a)计算的概率密度其中，表示交叉验证集的第i个元素；5b)初始化阈值ε及综合评价指标