存储数据的方法、读取数据的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113986134A(43)申请公布日2022.01.28(21)申请号202111259196.2(22)申请日2021.10.27(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人陈诚(74)专利代理机构中科专利商标代理有限责任公司11021代理人鄢功军(51)Int.Cl.G06F3/06(2006.01)权利要求书2页说明书7页附图5页(54)发明名称存储数据的方法、读取数据的方法和装置(57)摘要本公开提供了一种存储数据的方法、读取数据的方法、装置、设备、存储介质以及程序产品，涉及人工智能领域，尤其涉及云计算技术和分布式存储技术领域。具体实现方案为：将至少一个目标数据存储至存储级内存设备中的目标文件；将至少一个目标数据在存储级内存设备中的存储地址记录在动态随机存取存储器中，作为第一索引数据；以及将第一索引数据同步存储至存储级内存设备中，作为第二索引数据。CN113986134ACN113986134A权利要求书1/2页1.一种存储数据的方法，包括：将至少一个目标数据存储至存储级内存设备中的目标文件；将所述至少一个目标数据在所述存储级内存设备中的存储地址记录在动态随机存取存储器中，作为第一索引数据；以及将所述第一索引数据同步存储至所述存储级内存设备中，作为第二索引数据。2.根据权利要求1所述的方法，其中，所述将至少一个目标数据存储至存储级内存设备中的目标文件包括：获取所述目标文件的原始偏移量；根据所述原始偏移量，确定与所述至少一个目标数据中每个目标数据对应的文件偏移量；以及根据与所述每个目标数据对应的文件偏移量，将所述至少一个目标数据写入所述目标文件。3.根据权利要求1所述的方法，还包括：在所述存储级内存设备中分配具有预定大小的文件，作为所述目标文件；以及在确定所述目标文件写满数据的情况下，重新分配一个预定大小的文件，作为新的目标文件。4.根据权利要求1所述的方法，还包括：根据预定周期和预定数据粒度，将所述目标文件中的目标数据转存至磁盘；以及将所述目标数据在所述磁盘中的存储地址记录在所述第一索引数据，并根据所述第一索引数据，更新所述第二索引数据。5.根据权利要求4所述的方法，还包括：在确定所述目标文件中的所有目标数据转存至磁盘的情况下，删除所述目标文件。6.一种读取数据的方法，包括：获取数据读取请求；在动态随机存取存储器中存在第一索引数据的情况下，根据所述第一索引数据，确定与所述数据读取请求对应的目标数据的存储地址；在所述动态随机存取存储器中不存在第一索引数据的情况下，根据存储级内存设备中的第二索引数据，确定与所述数据读取请求对应的目标数据的存储地址；以及根据所述存储地址，读取所述目标数据。7.一种存储数据的装置，包括：第一存储模块，用于将至少一个目标数据存储至存储级内存设备中的目标文件；第一记录模块，用于将所述至少一个目标数据在所述存储级内存设备中的存储地址记录在动态随机存取存储器中，作为第一索引数据；以及第二记录模块，用于将所述第一索引数据同步存储至所述存储级内存设备中，作为第二索引数据。8.根据权利要求7所述的装置，其中，所述第一存储模块包括：获取子模块，用于获取所述目标文件的原始偏移量；确定子模块，用于根据所述原始偏移量，确定与所述至少一个目标数据中每个目标数据对应的文件偏移量；以及2CN113986134A权利要求书2/2页写入子模块，用于根据与所述每个目标数据对应的文件偏移量，将所述至少一个目标数据写入所述目标文件。9.根据权利要求7所述的装置，还包括：第一分配模块，用于在所述存储级内存设备中分配具有预定大小的文件，作为所述目标文件；以及第二分配模块，用于在确定所述目标文件写满数据的情况下，重新分配一个预定大小的文件，作为新的目标文件。10.根据权利要求7所述的装置，还包括：转存模块，用于根据预定周期和预定数据粒度，将所述目标文件中的目标数据转存至磁盘；以及第三记录模块，用于将所述目标数据在所述磁盘中的存储地址记录在所述第一索引数据和所述第二索引数据中。11.根据权利要求10所述的装置，还包括：删除模块，用于在确定所述目标文件中的所有目标数据转存至磁盘的情况下，删除所述目标文件。12.一种读取数据的装置，包括：获取模块，用于获取数据读取请求；第一确定模块，用于在动态随机存取存储器中存在第一索引数据的情况下，根据所述第一索引数据，确定与所述数据读取请求对应的目标数据的存储地址；第二确定模块，用于在所述动态随机存取存储器中不存在第一索引数据的情况下，根据存储级内存设备中的第二索引数据，确定与所述数据读取请求对应的目标数据的存储地址；以及读取模块，用于根据所述存储地址，读取所述目标