一种基于rockadb存储引擎增大内存的方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114218274A(43)申请公布日2022.03.22(21)申请号202111499906.9(22)申请日2021.12.09(71)申请人浪潮云信息技术股份公司地址250100山东省济南市高新区浪潮路1036号浪潮科技园S01号楼(72)发明人王泽坤(74)专利代理机构济南信达专利事务所有限公司37100代理人姜鹏(51)Int.Cl.G06F16/2455(2019.01)G06F16/22(2019.01)G06F12/0877(2016.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于rockadb存储引擎增大内存的方法及系统(57)摘要本发明公开了一种基于rockadb存储引擎增大内存的方法及系统，属于云计算存储领域；所述的S1利用内存池和内存池管理机制维护内存中的数据；S2利用自适应基数树索引将内存存储区中的数据替换原有的索引结构；S3利用修改后的预写管理系统对多日志文件进行管理实现其恢复功能；S4将内存存储区的数据进行落盘操作的功能，并对生成的SST文件进行管理；本发明的目的是提供一种基于rockadb存储引擎增大内存的方法及系统，在增大rocksdb存储引擎中内存的存储数据量的同时，要对rocksdb系统中的各个子系统进行适配和调整，以实现增大内存，提高存储引擎性能的目标。CN114218274ACN114218274A权利要求书1/2页1.一种基于rockadb存储引擎增大内存的方法，其特征是所述的方法具体步骤如下：S1利用内存池和内存池管理机制维护内存中的数据；S2利用自适应基数树索引将内存存储区中的数据替换原有的索引结构；S3利用修改后的预写管理系统对多日志文件进行管理实现其恢复功能；S4将内存存储区的数据进行落盘操作的功能，并对生成的SST文件进行管理。2.根据权利要求1所述的方法，其特征是所述S1利用内存池和内存池管理机制维护内存中的数据的具体步骤如下：S101通过内存池根据数据库当前的数据量进行自适应；S102通过内存存储区对内存池的数据进行存储管理。3.根据权利要求2所述的方法，其特征是所述S2利用自适应基数树索引将内存存储区中的数据替换原有的索引结构的具体步骤如下：S201利用自适应基数树的数据结构作为内存存储区数据的索引；S202将内存存储区的每条数据的地址和长度作为自适应基数树索引的叶子节点；S203通过索引找到对应的叶子节点，通过叶子节点找到数据；S204使用数据库通用的结构对自适应基数树的进行适配。4.根据权利要求3所述的方法，其特征是所述S3利用修改后的预写管理系统对多日志文件进行管理实现其恢复功能的具体步骤如下：S301通过部件改造对多预写日志文件进行管理；S302将预写日志系统的全部文件恢复到内存存储区中。5.根据权利要求4所述的方法，其特征是所述S4将内存存储区的数据进行落盘操作的功能，并对生成的SST文件进行管理的具体步骤如下：S401内存存储区中的数据按照顺序落盘到SST并对SST进行切分，将SST加入到level1中；S402将增大内存的存储引擎切换为rocksdb存储引擎。6.一种基于rockadb存储引擎增大内存的系统，其特征是所述的系统具体包括内存存储模块、ART索引模块、预写日志模块和SST数据落盘模块：内存存储模块：利用内存池和内存池管理机制维护内存中的数据；ART索引模块：利用自适应基数树索引将内存存储区中的数据替换原有的索引结构；预写日志模块：利用修改后的预写管理系统对多日志文件进行管理实现其恢复功能；SST数据落盘模块：将内存存储区的数据进行落盘操作的功能，并对生成的SST文件进行管理。7.根据权利要求6所述的系统，其特征是所述内存存储模块具体包括自适应模块和存储管理模块：自适应模块：通过内存池根据数据库当前的数据量进行自适应；存储管理模块：通过内存存储区对内存池的数据进行存储管理。8.根据权利要求7所述的系统，其特征是所述ART索引模块具体包括索引建立模块、节点建立模块、数据索引模块和索引适配模块：索引建立模块：利用自适应基数树的数据结构作为内存存储区数据的索引；节点建立模块：将内存存储区的每条数据的地址和长度作为自适应基数树索引的叶子2CN114218274A权利要求书2/2页节点；数据索引模块：通过索引找到对应的叶子节点，通过叶子节点找到数据；索引适配模块：使用数据库通用的结构对自适应基数树的进行适配。9.根据权利要求8所述的系统，其特征是所述预写日志模块具体包括文件管理模块和文件恢复模块：文件管理模块：通过部件改造对多预写日志文件进行管理；文件恢复模块：将预写日志系统的全部文件恢复到内存存储区中。10.根据权利要求9所述的系统，其特征是所述SST数据落