数据存储方法、装置、计算机设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113934362A(43)申请公布日2022.01.14(21)申请号202010676941.2(22)申请日2020.07.14(71)申请人腾讯科技（深圳）有限公司地址518000广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人凌国(74)专利代理机构广州华进联合专利商标代理有限公司44224代理人李文渊(51)Int.Cl.G06F3/06(2006.01)权利要求书3页说明书16页附图6页(54)发明名称数据存储方法、装置、计算机设备和存储介质(57)摘要本申请涉及一种数据存储方法、装置、计算机设备和存储介质。所述方法包括：获取内存块的内存占用量；当所述内存块的内存占用量达到内存阈值时，对所述内存块进行数据重整，以确定所述内存块中的待回写数据；获取所述待回写数据对应的校验数据；将所述校验数据写入目标文件的文件头，并即时调用用于将内存数据与文件数据进行同步的系统函数，将所述待回写数据回写至所述目标文件；其中，所述文件头中的校验数据，用于在读取所述目标文件中数据时进行数据完整性校验。采用本方法能够能够即时地将待回写数据写入文件中，由此提高了写入文件中的回写数据的完整性，从而能够有效降低数据回写过程中的损坏率。CN113934362ACN113934362A权利要求书1/3页1.一种数据存储方法，其特征在于，所述方法包括：获取内存块的内存占用量；当所述内存块的内存占用量达到内存阈值时，对所述内存块进行数据重整，以确定所述内存块中的待回写数据；获取所述待回写数据对应的校验数据；将所述校验数据写入目标文件的文件头，并即时调用用于将内存数据与文件数据进行同步的系统函数，将所述待回写数据回写至所述目标文件；其中，所述文件头中的校验数据，用于在读取所述目标文件中数据时进行数据完整性校验。2.根据权利要求1所述的方法，其特征在于，所述获取内存块的内存占用量，包括：当应用程序向内存块写入数据时，获取所述应用程序触发的数据写入请求；所述数据写入请求用于请求基于内存映射文件向所述内存块中写入数据；根据所述数据写入请求，解析所述内存映射文件，获得所述内存块的内存占用量。3.根据权利要求1所述的方法，其特征在于，所述内存块中的内存数据包括键值对，所述键值对包括关键字和对应的值；所述对所述内存块进行数据重整，以确定所述内存块中的待回写数据包括：基于所述内存块中键值对的关键字，对所述内存块中的键值对进行去重处理，获得所述内存块中的有效数据；将所述有效数据确定为所述内存块中的待回写数据。4.根据权利要求3所述的方法，其特征在于，所述基于所述内存块中键值对的关键字，对所述内存块中的键值对进行去重处理，获得所述内存块中的有效数据，包括：获取所述内存块中内存数据的操作记录；根据所述操作记录，从所述内存数据中筛选出所述内存块中键值对的关键字所对应的值在经过操作后的最新值；将所述关键字和对应的最新值确定为所述内存块中的有效数据。5.根据权利要求1所述的方法，其特征在于，所述获取所述待回写数据对应的校验数据，包括：确定所述待回写数据对应的内存占用数值；对所述待回写数据进行编码，获得所述待回写数据对应的校验码；基于所述内存占用数值和所述校验码，生成所述待回写数据对应的校验数据。6.根据权利要求1所述的方法，其特征在于，所述将所述校验数据写入目标文件的文件头，并即时调用用于将内存数据与文件数据进行同步的系统函数，将所述待回写数据回写至所述目标文件，包括：将所述校验数据成功写入目标文件的文件头后，即时调用用于将内存数据与文件数据进行同步的系统函数；基于所述内存块中的待回写数据，确定所述系统函数对应的函数参数；通过所述系统函数和对应的函数参数，对所述内存块中的待回写数据进行同步操作，以将所述待回写数据回写至所述目标文件。7.根据权利要求6所述的方法，其特征在于，所述通过所述系统函数和对应的函数参2CN113934362A权利要求书2/3页数，对所述内存块中的待回写数据进行同步操作，以将所述待回写数据回写至所述目标文件，包括：基于内存映射文件，确定所述内存块中的待回写数据的数据序列和映射区域；通过所述系统函数和对应的函数参数，将所述待回写数据按照所述数据序列，同步至所述目标文件中与所述映射区域对应的存储位置。8.根据权利要求1所述的方法，其特征在于，在所述将所述待回写数据回写至所述目标文件之前，所述方法还包括：当应用程序从目标文件读取数据时，获取所述应用程序触发的数据读取请求；根据所述数据读取请求，基于内存映射文件将所述目标文件中与所述数据读取请求对应的文件数据缓存至所述内存块。9.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过键值对存储组件，获得所述内存映射文件的写