基于经验小波变换和多尺度熵的水质数据清洗方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112329667A(43)申请公布日2021.02.05(21)申请号202011252584.3(22)申请日2020.11.11(71)申请人杭州电子科技大学地址310018浙江省杭州市钱塘新区白杨街道2号大街(72)发明人蒋鹏陈锃许欢余善恩林广(74)专利代理机构浙江千克知识产权代理有限公司33246代理人周希良(51)Int.Cl.G06K9/00(2006.01)G06F17/14(2006.01)G06F17/15(2006.01)权利要求书1页说明书6页附图2页(54)发明名称基于经验小波变换和多尺度熵的水质数据清洗方法(57)摘要本发明涉及一种基于经验小波变换和多尺度熵的水质数据清洗方法。本发明通过快速傅里叶变换对原始数据的频谱进行自适应分段之后，经验小波变换将带有噪声的原始数据分解为不同的内在模式函数IMF。根据整个IMF的不同特性，将基于多尺度熵的自适应可调参数引入阈值函数中，以提高噪声去除的性能。最后，过滤整个IMF上的点的高频噪声，本发明包含更多有效数据幅度和更少噪声保留。更加适用于时序数据清洗并在合成模拟数据和现场水质数据的去除噪声的精度上取得了较好的效果。CN112329667ACN112329667A权利要求书1/1页1.基于经验小波变换和多尺度熵的水质数据清洗方法，其特征在于该方法包括以下步骤：步骤1：利用快速傅里叶变换计算原始水质带有噪声数据的频谱；步骤2：根据频谱的频率特性设置初始边界，使用自适应分割方法对频谱进行分段；步骤3：从划分的频谱域构造经验小波函数的系数并最终得到不同尺度的内在模态函数；步骤4：计算内在模态函数的多尺度模糊熵值并构造自适应阈值函数；步骤5：通过自适应阈值函数过滤内在模态函数中的高频噪声点：根据多尺度模糊熵构造的自适应因子θ和软、硬阈值的公式构造如下自适应的阈值函数：其中sgn(·)代表符号函数，SDi是第i个内在模态函数的标准偏差，N是总的数据长度，Qi,t表示在第i个的内在模态函数的系数，η由多尺度模糊熵值确定；步骤6：使用经验小波逆变换重新构造去除噪声后的数据。2.根据权利要求1所述的基于经验小波变换和多尺度熵的水质数据清洗方法，其特征在于：多尺度模糊熵的计算过程为：1)将N维时间序列数据u(s)粗粒化，即根据预先设置的嵌入维数m和相似容限r，建立新的粗粒向量如下：其中τ为尺度因子并且整个原始序列被分割为个子时间序列；2)对于每个粗粒时间序列分别求出其模糊熵。3.根据权利要求2所述的基于经验小波变换和多尺度熵的水质数据清洗方法，其特征在于：所述的模糊熵值计算过程如下：4-1、对于给定的时间序列按照时间点t和s顺序分割成m维的两条子向量；4-2、计算选取的两条子向量之间的距离；4-3、通过模糊函数计算上述两条子向量的相似度；4-4、定义m+1维的子向量并重复4-1至4-3；通过m维的子向量和m+1维的子向量计算最终的模糊熵值。2CN112329667A说明书1/6页基于经验小波变换和多尺度熵的水质数据清洗方法技术领域[0001]本发明涉及一种水质数据自动清洗方法，尤其涉及一种基于经验小波变换和多尺度模糊熵的水质数据自动清洗方法。背景技术[0002]在水质监测领域，地表水资源安全一直是人类发展和生存的坚实基础，水质监测传感器采集的时间序列数据有助于环境保护部门监测，采集和分析水质数据。时间序列数据挖掘可以从大量历史数据中提取有用的信息，从而为决策者提供重要且极其有价值的信息或知识。[0003]在传统的水质监测系统中，水质时间序列数据挖掘比如水质预测，水质评估和水质建模等对于实现水环境保护至关重要。水质监测的上述方向取决于准确和可靠的数据，但是从各个监测站的传感器获得的水质数据通常是以分钟为单位记录数据，很容易受到包括主观误差和客观误差在内的噪声数据干扰。并且在水质监测站收集数据的过程中，由于水流及其电的影响，水质传感器也可能导致数据偏差。既然含噪声的数据可能会对水质数据挖掘的处理产生重大影响，因此必须在使用任何原始数据之前进行清洗。[0004]近年来许多专家已经引入了许多用于随机噪声数据清洗的方法。在经典数据清洗领域，傅立叶分析技术(FAT)是一种减少稳态噪声的强大工具，而大多数实际数据都是非线性的。离散小波阈值变换(DWT)和小波包变换(WPT)都具有解决非平稳噪声降低问题的良好性能，但是需要人工预设小波函数限制了它们的应用。一些自适应的经验模式分解方法和整体经验模式分解也可以将原始数据分解为一系列固有模式函数，这些固有模式函数从处理后的数据本身特性派生而来。由于具有适应性，经验模态分解(EMD)和改进的EMD方法已在各种应用中使用，例如表面肌电图，脑电图等。然而，EMD和改进的EMD