一种高维时序数据压缩存储方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109684328A(43)申请公布日2019.04.26(21)申请号201811508645.0(22)申请日2018.12.11(71)申请人中国北方车辆研究所地址100072北京市丰台区槐树岭4号院(72)发明人邹天刚陈娟郭静张金乐毛飞鸿钟薇侯威桂鹏(74)专利代理机构中国兵器工业集团公司专利中心11011代理人王雪芬(51)Int.Cl.G06F16/22(2019.01)G06F16/28(2019.01)权利要求书2页说明书5页附图1页(54)发明名称一种高维时序数据压缩存储方法(57)摘要本发明涉及一种高维时序数据压缩存储方法，属于计算机软件设计与实现技术领域。本发明根据时序数据的维数和每维数据压缩后的数据点数，对输入的时序数据进行线性扫描。在扫描的过程中，采用区间合并的方法对每一分量数据点进行合并。将合并后的所有分量区间的开始时间和结束时间标签提取出来，进行全局排序，并根据排序后的时间标签重新生成时序数据。最后将生成的时序数据存入关系数据库中。本发明可应用于各类工业控制系统时序数据的压缩存储，适用于数据流量大、采样种类多的情况，可较好地保留原数据的特征，实时性好，压缩比高，实用性强，压缩后的结果可以在关系数据库中存储。CN109684328ACN109684328A权利要求书1/2页1.一种高维时序数据压缩存储方法，其特征在于，包括以下步骤：步骤1：设置D维时序数据每一分量Di的压缩点数CP(Di)，并将压缩梯度Grad(Di)设置为kCP(Di)×2(k＝1,2,3,...)；步骤2：将Di的最大值Max(Di)和最小值Min(Di)分别设置为第一个数据点的值；步骤3：为每一分量Di初始化一个区间列表RL(Di)，用于存储分量Di已经压缩过的数据区间，列表中的每个元素是一个元组<ts,te,vmax,vmin,vavg,n>，其中ts和te分别表示区间的开始时间标签和结束时间标签，vmax，vmin和vavg分别表示区间内数据点的最大值、最小值和平均值，n表示区间内数据点的个数；步骤4：顺序读入时序数据，对任意时刻t采样到的D维时序数据，分别对每一分量dit进行处理，采用区段合并的方法将每个分量数据压缩为一个区段列表RL(Di)；步骤5：对所有分量Di的区间列表RL(Di)，取其所有元组的时间标签，并将其放入到同一时间队列TL中；步骤6：对TL中的时间标签按照升序进行排序；步骤7：顺序扫描TL中的每一个时间标签t，根据所有分量的区间列表RL(Di)重新生成分量数据；步骤8：将新生成的时序数据保存到关系数据库中。2.如权利要求1所述的方法，其特征在于，步骤4中，分量Di在t时刻的数据dit进行数据区段压缩方法，包括以下步骤：步骤41：比较dit与Max(Di)和Min(Di)的关系，若Dit小于Min(Di)，则将Min(Di)设置为dit，若dit大于Max(Di)，则将Max(Di)设置为dit；步骤42：取RL(Di)中最后一个区间元素Rl＝<ts,te,vmax,vmin,vavg,n>，若vmin≤dit≤vmax，则更新Rl为<ts,te,vmax,vmin,(vavg*n+dit)/(n+1),n+1>；否则创建一个新的区间Rn＝<t,t,dit,dit,dit,1>，并添加到区间列表RL(Di)的尾部；步骤43：检查RL(Di)中元素的个数，如果超过了指定的压缩点数CP(Di)，对RL(Di)中区间进行区间合并。3.如权利要求2所述的方法，其特征在于，步骤43中进行分量数据区间合并方法，包括以下步骤：步骤431：计算R(Di)＝Max(Di)-Min(Di)，将R(Di)分为Grad(Di)个区间，每个区间的大小为R(Di)/Grad(Di)；步骤432：顺序扫描RL(Di)中的元组，检查任意相邻的两个元组Rl＝<ts,te,vmax,vmin,vavg,n>和Rr＝<t's,t'e,v'max,v'min,v'avg,n'>，根据vmax,vmin,v'max,v'min判断是否属于相同的分量区间，如果是，则将Rl和Rr合并为同一个区间，合并后的区间设置为Rlr＝<Min(ts,t's),Max(te,t'e),Max(vmax,v'max),Min(vmin,v'min),(vavg×n+v'avg×n'),n+n'>；步骤433：检查RL(Di)中元素的个数，如果仍然超过了指定的压缩点数CP(Di)，则将Grad(Di)设置为Grad(Di)/2；然后返回步骤431。4.如权利要求1所述的方法，其特征在于，步骤7中时序数据重新生成方法，其具体过程为：对每一分量Di的区间列表RL(Di)，取t所在区间的四元组<t