数据处理方法及电子装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113946552A(43)申请公布日2022.01.18(21)申请号202111222136.3(22)申请日2021.10.20(71)申请人星辰天合（北京）数据科技有限公司地址100097北京市海淀区蓝靛厂金源时代购物中心B区2#B座806-1(72)发明人卢行周维王豪迈胥昕(74)专利代理机构北京康信知识产权代理有限责任公司11240代理人黄海英(51)Int.Cl.G06F16/17(2019.01)G06F16/18(2019.01)G06F16/11(2019.01)权利要求书2页说明书12页附图3页(54)发明名称数据处理方法及电子装置(57)摘要本申请公开了一种数据处理方法及电子装置。该方法包括：在将目标数据写入存储系统的过程中，确定目标数据对应的业务类型，其中，目标数据是占用存储空间小于预设存储空间的数据，业务类型包括第一类型和第二类型，第一类型对应的数据写入波动情况满足预设波动条件，第一类型对应的数据写入波动情况不满足预设波动条件；在目标数据对应的业务类型为第一类型的情况下，采用离线归并的方式对目标数据进行数据归并；在目标数据对应的业务类型为第二类型的情况下，采用在线归并的方式对目标数据进行数据归并。解决了相关技术中在分布式存储场景下对小文件进行归并时，离线归并方法的归并效率较低，而在线归并方法影响业务数据的写入性能的问题。CN113946552ACN113946552A权利要求书1/2页1.一种数据处理方法，其特征在于，包括：在将目标数据写入存储系统的过程中，确定所述目标数据对应的业务类型，其中，所述目标数据是占用存储空间小于预设存储空间的数据，所述业务类型包括第一类型和第二类型，所述第一类型对应的数据写入波动情况满足预设波动条件，所述第一类型对应的数据写入波动情况不满足所述预设波动条件；在所述目标数据对应的业务类型为所述第一类型的情况下，采用离线归并的方式对所述目标数据进行数据归并；在所述目标数据对应的业务类型为所述第二类型的情况下，采用在线归并的方式对所述目标数据进行数据归并。2.根据权利要求1所述的方法，其特征在于，在所述目标数据对应的业务类型为所述第二类型的情况下，采用在线归并的方式对所述目标数据进行数据归并包括：依次将每个所述目标数据写入所述存储系统中的第一存储介质，记录日志数据，并生成所述目标数据对应的元数据；在每次将所述目标数据写入所述存储系统中的第一存储介质时，将所述目标数据添加至归并模块中，并通过所述归并模块下发归并任务将所述目标数据存储至所述存储系统中的第二存储介质中，直至满足所述归并任务的设定条件，得到归并后的数据，其中，所述设定条件用于设定所述归并后的数据对应的目标数据的数量或所占存储空间大小；更新所述归并后的数据中的各个所述目标数据对应的元数据。3.根据权利要求2所述的方法，其特征在于，通过所述归并模块下发归并任务将所述目标数据存储至所述存储系统中的第二存储介质中包括：生成多个所述归并任务，并按照预设规则将所述目标数据加入多个所述归并任务中的一个；控制多个所述归并任务并发地将数据写入所述第二存储介质中。4.根据权利要求3所述的方法，其特征在于，控制多个所述归并任务并发地将数据写入所述第二存储介质中包括：在每个所述归并任务首次将数据写入所述第二存储介质中的情况下，将所述归并任务对应的状态从初始状态调整为执行状态；在每个所述归并任务将所有的数据写入所述第二存储介质中的情况下，将所述归并任务对应的状态从所述执行状态调整为完成状态，并更新所述归并任务对应的数据的元数据。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述归并任务对应的进程出现异常的情况下，重新执行未完成的所述归并任务。6.根据权利要求1所述的方法，其特征在于，在所述目标数据对应的业务类型为所述第一类型的情况下，采用离线归并的方式对所述目标数据进行数据归并包括：依次将每个所述目标数据写入所述存储系统中的第一存储介质，记录日志数据，并生成所述目标数据对应的元数据；在预设归并时间达到后，从所述日志数据中获取多个所述目标数据的存储位置，并生成归并任务，其中，多个所述目标数据的数量为预设数量，所述存储位置为所述第一存储介质中的存储地址，所述归并任务用于对所述存储位置对应存储的数据进行归并；2CN113946552A权利要求书2/2页根据所述归并任务对应的所述存储位置从所述第一存储介质中获取多个所述目标数据，并对多个所述目标数据进行归并，得到一组归并后的数据；将所述归并后的数据存储至所述存储系统中的第二存储介质，从所述第一存储介质中删除多个所述目标数据，并更新多个所述目标数据对应的元数据。7.根据权利要求6所述的方法，其特征在于，从所述第一