一种适用于时序数据库的数据块增量压缩及查询方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113157680A(43)申请公布日2021.07.23(21)申请号202110454409.0(22)申请日2021.04.26(71)申请人北京顺实科技有限公司地址100089北京市海淀区丰慧中路7号新材料创业大厦10层南侧办公1352号(72)发明人邹月明(74)专利代理机构上海尚象专利代理有限公司31335代理人徐炫(51)Int.Cl.G06F16/215(2019.01)G06F16/2455(2019.01)权利要求书2页说明书5页附图3页(54)发明名称一种适用于时序数据库的数据块增量压缩及查询方法(57)摘要本发明公开了一种适用于时序数据库的数据块增量压缩及查询方法，涉及数据库技术领域，本发明包括创建数据块；获取数据块中数据片段的数量、每个数据片段的起始位置以及每个数据片段的数据容量；向每个数据片段写入数据，将写满数据的数据片段中的数据项进行压缩；将每个已经写满数据的数据片段进行压缩；本发明对数据块中的所有数据片段进行压缩，保证了每条数据都经过压缩，维持最大的压缩比，节约磁盘空间；同时通过增量压缩的方法，让待压缩的数据在数据块中被逐一压缩保证数据不会被重复压缩，更不会被反复解压缩，杜绝CPU资源浪费，提高最快写入速度。CN113157680ACN113157680A权利要求书1/2页1.一种适用于时序数据库的数据块增量压缩方法，其特征在于：包括(1)创建数据块；(2)获取数据块中数据片段的数量、每个数据片段的起始位置以及每个数据片段的数据容量；(3)向每个数据片段写入数据，将写满数据的数据片段中的数据项进行压缩；(4)将每个已经写满数据的数据片段进行压缩。2.一种适用于时序数据库的数据写入方法，其特征在于：包括(1)创建数据块；(2)判断数据块内数据片段数量是否有数据片段；如果数据块内没有数据片断，则创建一个新的数据片断；(3)数据压缩：写入数据，将已经写满数据的数据片段中的数据项进行压缩，将数据块内已经写满数据的数据片段进行压缩；(4)将写满数据的数据块写入磁盘：(5)清空数据块。3.根据权利要求2所述的适用于时序数据库的数据写入方法，其特征在于：计算数据块的剩余空间，如果数据块的剩余空间足够存放待追加的数据，则直接将待追加的数据追加写入到数据块中未压缩的数据片断内，待数据片断不能够存放追加数据时，将该数据片断压缩。4.根据权利要求2所述的适用于时序数据库的数据写入方法，其特征在于：计算数据片段的剩余空间，如果数据片段的剩余空间足够存放待追加的数据，则直接将待追加的数据追加写入到数据片段中，待数据片断不能够存放追加数据时，将该数据段内的数据项压缩。5.根据权利要求2所述的适用于时序数据库的数据写入方法，其特征在于：数据块中的数据片段被压缩后，数据块中会出现空闲空间，在该空闲空间中创建新的数据片断，并将未压缩的数据写入新创建的数据片断内。6.根据权利要求5所述的适用于时序数据库的数据写入方法，其特征在于：当数据块中的空闲空间不足以存放待追加的数据说明该数据块已经写满。7.一种适用于时序数据库的数据块增量压缩后的查询方法，其特征在于：包括(1)保证每个数据块有且只有一个向数据块中写入数据的线程或者进程；(2)给写入数据的线程或者进程分配数据空间，即压缩查询缓冲区；将压缩之前的数据块拷贝到该压缩查询缓冲区，然后标记压缩查询缓冲区可读，最后将原始数据块标记为不可读，以提醒查询方依然能通过压缩查询缓冲区正确访问数据；(3)查询方在查询时，将待访问数据块和其对应的压缩查询缓冲区的内容都拷贝出来；如果压缩查询缓冲区已被标记不可读，则说明当前没有压缩动作，直接访问原始数据块即可；如果查询方发现拷贝出来的两个块的数据点标识不一致，说明有其它数据点正在压缩过程中，不影响当前查询，直接访问原始数据块即可；如果查询方发现拷贝出来的两个数据块的数据点标识一致，说明当前访问的数据块正在压缩的过程中，需要通过访问压缩查询缓冲区来访问压缩前的数据；在查询过程中，如果查询方发现拷贝出来的两个块的数据点状态都为不可读，重新读取，直到遇到至少有一个数据块的数据点状态为可读为止；(4)压缩替换完成之后，将原始数据块的状态标记为可读，然后将压缩查询缓冲区标记2CN113157680A权利要求书2/2页为不可读，查询者只需正常访问原始数据块中的数据即可。3CN113157680A说明书1/5页一种适用于时序数据库的数据块增量压缩及查询方法技术领域[0001]本发明涉及数据库技术领域，更具体的是涉及一种适用于时序数据库的数据块增量压缩及查询方法。背景技术[0002]在时序数据库领域中，磁盘中最小的存储单位是数据块，每个数据块中存储一条或多条数据。实际测试表明，时序数据库应