数据重建方法及装置、数据存储系统、存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115017153A(43)申请公布日2022.09.06(21)申请号202210493625.0(22)申请日2022.05.07(71)申请人北京星辰天合科技股份有限公司地址100094北京市海淀区丰秀中路3号院7号楼1至5层101(72)发明人卢行冯起张旭明王豪迈胥昕(74)专利代理机构北京康信知识产权代理有限责任公司11240专利代理师周春枚(51)Int.Cl.G06F16/22(2019.01)G06F16/27(2019.01)G06F9/48(2006.01)权利要求书2页说明书11页附图4页(54)发明名称数据重建方法及装置、数据存储系统、存储介质(57)摘要本发明公开了一种数据重建方法及装置、数据存储系统、存储介质。其中，该方法包括：响应数据重建指令，创建对预设存储平台进行访问的访问配置信息，其中，访问配置信息用于访问预设存储平台，以索引目标数据所属的源站存储桶中各个存储对象的对象列表；基于对象列表，确定多个存储对象的源站信息；基于源站信息，采用预先配置的调用列举接口重建每个存储对象的元数据，并将元数据写入本地集群；基于源站信息和元数据，生成数据重建任务，其中，数据重建任务用于重建目标数据。本发明解决了相关技术中采用回源方式无法实现数据的批量重建的技术问题。CN115017153ACN115017153A权利要求书1/2页1.一种数据重建方法，其特征在于，应用于服务端平台，包括：响应数据重建指令，创建对预设存储平台进行访问的访问配置信息，其中，所述访问配置信息用于访问所述预设存储平台，以索引目标数据所属的源站存储桶中各个存储对象的对象列表；基于所述对象列表，确定多个存储对象的源站信息；基于所述源站信息，采用预先配置的调用列举接口重建每个所述存储对象的元数据，并将所述元数据写入本地集群；基于所述源站信息和所述元数据，生成数据重建任务，其中，所述数据重建任务用于重建所述目标数据。2.根据权利要求1所述的方法，其特征在于，数据重建方法应用于预设数据重建模式，其中，所述预设数据重建模式为下述之一：普通重建模式、升级重建模式和灾难重建模式。3.根据权利要求2所述的方法，其特征在于，在所述预设数据重建模式为普通重建模式的情况下，基于所述对象列表，确定多个存储对象的源站信息的步骤，包括：遍历所述对象列表，得到多个对象信息；基于所述对象信息，重建所述存储对象；判断所述本地集群中是否存在重建后的所述存储对象；若所述本地集群中不存在重建后的所述存储对象，则访问源站，得到所述存储对象的元数据信息和对象标签；将所述元数据信息和所述对象标签表征为所述源站信息。4.根据权利要求3所述的方法，其特征在于，在所述预设数据重建模式为普通重建模式的情况下，基于所述源站信息，采用预先配置的调用列举接口重建每个所述存储对象的元数据的步骤，还包括：获取所述服务端平台所支持的存储类别；根据所述存储类别，调用预先配置的调用列举接口；采用所述调用列举接口重建每个所述存储对象的元数据。5.根据权利要求2所述的方法，其特征在于，在所述预设数据重建模式为灾难重建模式的情况下，基于所述对象列表，确定多个存储对象的源站信息的步骤，包括：在出现数据中心故障的情况下，获取故障数据中心在公有云中预先分层的分层数据，其中，所述分层数据包括多个分层存储桶；切换所述故障数据中心为业务数据中心；在所述业务数据中心中创建与所述分层存储桶对应的镜像存储桶；基于所述对象列表，确定多个所述镜像存储桶的源站信息。6.根据权利要求2所述的方法，其特征在于，在所述预设数据重建模式为升级重建模式的情况下，基于所述对象列表，确定多个存储对象的源站信息的元数据的步骤，包括：在跨版本升级场景下，遍历所述对象列表，得到多个对象信息；基于所述对象信息，采用增量同步策略，重建所述存储对象；确定每个存储对象的源站信息的元数据。7.根据权利要求6所述的方法，其特征在于，采用增量同步策略，重建所述存储对象的步骤，包括：2CN115017153A权利要求书2/2页获取在所述服务端平台下的第二级平台的平台类型；基于所述第二级平台的平台类型，对所述服务端平台下的所述存储对象进行全量重建；在完成对所述存储对象的全量重建后，增量重建第二级存储桶下的各个存储对象。8.根据权利要求2所述的方法，其特征在于，基于所述对象列表，确定多个存储对象的源站信息的步骤，还包括：对于多版本的存储桶，获取目标数据所属的源站存储桶中每个版本的桶标识；基于每个版本的桶标识，索引所述源站存储桶中各个存储对象的对象列表；基于所述对象列表，确定多个存储对象的源站信息。9.一种数据重建装置，其特征在于，应用于服务端平台，包括：创建单元，用于响应数据重建指令，创建对预设存储平台进行访问的访