一种基于持久性内存的列式存储方法、装置及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111984651A(43)申请公布日2020.11.24(21)申请号202010850276.4(22)申请日2020.08.21(71)申请人苏州浪潮智能科技有限公司地址215100江苏省苏州市吴中区吴中经济开发区郭巷街道官浦路1号9幢(72)发明人秦朝阳(74)专利代理机构北京集佳知识产权代理有限公司11227代理人张春辉(51)Int.Cl.G06F16/22(2019.01)G06F16/172(2019.01)G06F16/13(2019.01)权利要求书2页说明书10页附图6页(54)发明名称一种基于持久性内存的列式存储方法、装置及设备(57)摘要本申请公开了一种基于持久性内存的列式存储方法，该方法将文件转换为哈希结构数据并存储在持久性内存上，由于持久性内存具备字节寻址及非易失性，因此能够在数据读写过程中避免经过文件系统栈，大幅地提升数据查询速度；相比传统列式存储，该存储方式更易于实现修改、删除等实时数据操作，扩大了列式存储的应用场景；此外，该方法了采用一种逻辑简单的且占用空间极小的位图索引数据描述列块上的数据分布情况，避免了记录粉碎和组装算法的复杂性，在保留列式存储优势的同时简化存储逻辑，进一步提升列式存储的数据读写性能。此外，本申请还公开了一种基于持久性内存的列式存储装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。CN111984651ACN111984651A权利要求书1/2页1.一种基于持久性内存的列式存储方法，其特征在于，包括：对待存储的格式化文件进行划分，每预设数量的行划分为一个行组；对所述行组进行划分，每一列作为一个列块；将所述列块转换为哈希结构数据，将所述哈希结构数据写入持久性内存中；根据文件划分情况生成所述格式化文件的元数据，其中所述元数据包括所述格式化文件中各个行组的标识信息、各个行组在所述格式化文件中的位置信息，还包括所述行组中各个列块的标识信息、各个列块在所述行组中的位置信息；根据列块的实际数据中各个元素是否为空，生成所述列块的位图索引数据。2.如权利要求1所述的基于持久性内存的列式存储方法，其特征在于，所述将所述列块转换为哈希结构数据，将所述哈希结构数据写入持久性内存中，包括：以所述列块的列名和行组序号为键，以所述列块的实际数据为值，将所述列块转换为哈希结构数据，将所述哈希结构数据写入持久性内存中。3.如权利要求2所述的基于持久性内存的列式存储方法，其特征在于，所述将所述哈希结构数据写入持久性内存中，包括：对所述哈希结构数据中的值进行编码压缩，将编码压缩后的哈希结构数据写入持久性内存中。4.如权利要求2所述的基于持久性内存的列式存储方法，其特征在于，所述将所述哈希结构数据写入持久性内存中，包括：利用持久性内存开发套件中的操作函数，将所述哈希结构数据写入持久性内存中。5.如权利要求2所述的基于持久性内存的列式存储方法，其特征在于，所述将所述列块转换为哈希结构数据，将所述哈希结构数据写入持久性内存中，包括：将所述列块转换为并发哈希结构数据，将所述并发哈希结构数据写入持久性内存中。6.如权利要求1-5任意一项所述的基于持久性内存的列式存储方法，其特征在于，所述根据文件划分情况生成所述格式化文件的元数据，包括：根据文件划分情况生成所述格式化文件的元数据，其中所述元数据还包括所述列块的空值标志位，所述空值标志位用于表示列块的值全部为空。7.如权利要求6所述的基于持久性内存的列式存储方法，其特征在于，在所述根据文件划分情况生成所述格式化文件的元数据之后，还包括：将所述元数据存储至类二维数组中。8.一种基于持久性内存的列式存储装置，其特征在于，包括：行组键值化模块，包括：文件划分单元：用于对待存储的格式化文件进行划分，每预设数量的行划分为一个行组；对所述行组进行划分，每一列作为一个列块；哈希单元：用于将所述列块转换为哈希结构数据，将所述哈希结构数据写入持久性内存中；元数据模块：用于根据文件划分情况生成所述格式化文件的元数据，其中所述元数据包括所述格式化文件中各个行组的标识信息、各个行组在所述格式化文件中的位置信息，还包括所述行组中各个列块的标识信息、各个列块在所述行组中的位置信息；位图索引模块：用于根据列块的实际数据中各个元素是否为空，生成所述列块的位图2CN111984651A权利要求书2/2页索引数据。9.如权利要求8所述的基于持久性内存的列式存储装置，其特征在于，所述哈希单元具体用于：以所述列块的列名和行组序号为键，以所述列块的实际数据为值，将所述列块转换为哈希结构数据，将所述哈希结构数据写入持久性内存中。10.如权利要求9所述的基于持久性内存的列式存储装置，其特征在于，所述哈希单元具体用于：对所述哈