一种剔除异常值的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112861075A(43)申请公布日2021.05.28(21)申请号201911182843.7(22)申请日2019.11.27(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人崔汝伟(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张一军王安娜(51)Int.Cl.G06F17/18(2006.01)G06K9/62(2006.01)权利要求书2页说明书11页附图5页(54)发明名称一种剔除异常值的方法和装置(57)摘要本发明公开了一种剔除异常值的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：以消除增长趋势的方式对周期性历史时序数据进行平滑处理，得到平滑时序数据；采用隐马尔科夫模型对所述平滑时序数据进行计算，得到计算时序数据；基于所述计算时序数据识别所述平滑时序数据中的异常值，并剔除所述异常值。该实施方式能够解决无法准确识别周期性历史时序数据中的异常值的技术问题。CN112861075ACN112861075A权利要求书1/2页1.一种剔除异常值的方法，其特征在于，包括：以消除增长趋势的方式对周期性历史时序数据进行平滑处理，得到平滑时序数据；采用隐马尔科夫模型对所述平滑时序数据进行计算，得到计算时序数据；基于所述计算时序数据识别所述平滑时序数据中的异常值，并剔除所述异常值。2.根据权利要求1所述的方法，其特征在于，以消除增长趋势的方式对周期性历史时序数据进行平滑处理，得到平滑时序数据，包括：对周期性历史时序数据中每个周期内的时序数据分别进行求和，得到转换时序数据；计算所述转换时序数据的增长速度；根据所述转换时序数据的增长速度和所述周期性历史时序数据的周期，计算所述周期性历史时序数据的增长速度；采用所述周期性历史时序数据的增长速度对所述周期性历史时序数据进行平滑处理，得到平滑时序数据。3.根据权利要求2所述的方法，其特征在于，计算所述转换时序数据的增长速度，包括：采用线性回归方法计算所述转换时序数据的增长速度；和/或，根据所述转换时序数据的增长速度和所述周期性历史时序数据的周期，计算所述周期性历史时序数据的增长速度，包括：将所述转换时序数据的增长速度除以所述周期性历史时序数据的周期，得到的商作为所述周期性历史时序数据的增长速度。4.根据权利要求3所述的方法，其特征在于，采用所述周期性历史时序数据的增长速度对所述周期性历史时序数据进行平滑处理，得到平滑时序数据，包括：平滑时序数据中的数据点描述为：Xi-(posi-1)*t/m其中，posi为所述数据点在所述周期性历史时序数据中的位置，Xi为所述周期性历史时序数据中posi位置的数据，t为所述转换时序数据的增长速度，m为所述周期性历史时序数据的周期。5.根据权利要求1所述的方法，其特征在于，采用隐马尔科夫模型对所述平滑时序数据进行计算，得到计算时序数据，包括：设置隐马尔科夫模型隐藏状态的数量与所述周期性历史时序数据的周期相同；通过所述平滑时序数据求解隐马尔科夫模型的参数，从而建立隐马尔科夫模型；采用所述隐马尔科夫模型对所述平滑时序数据进行计算，得到计算时序数据。6.根据权利要求5所述的方法，其特征在于，所述隐马尔科夫模型的参数包括初始概率分布、转移概率矩阵和混淆矩阵。7.根据权利要求1所述的方法，其特征在于，基于所述计算时序数据识别所述平滑时序数据中的异常值，包括：对于所述平滑时序数据中的任意一个数据点，采用以下方法识别异常值：将所述数据点在所述平滑时序数据中的实际值与在所述计算时序数据中的计算值相减；判断相减得到的差值是否超过预设的异常阈值；2CN112861075A权利要求书2/2页若是，则将所述实际值识别为异常值。8.一种剔除异常值的装置，其特征在于，包括：平滑模块，用于以消除增长趋势的方式对周期性历史时序数据进行平滑处理，得到平滑时序数据；计算模块，用于采用隐马尔科夫模型对所述平滑时序数据进行计算，得到计算时序数据；剔除模块，用于基于所述计算时序数据识别所述平滑时序数据中的异常值，并剔除所述异常值。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。3CN112861075A说明书1/11页一种剔除异常值的方法和装置技术领域[0001]本发明涉及计算机技术领域，尤其涉及一种剔除异常值的方法和装置。背景技术[0002