预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共24页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113761294A(43)申请公布日2021.12.07(21)申请号202111062534.3(22)申请日2021.09.10(71)申请人北京火山引擎科技有限公司地址100190北京市海淀区紫金数码园4号楼13层1309(72)发明人耿筱喻杨诗旻郭俊(74)专利代理机构北京英创嘉友知识产权代理事务所(普通合伙)11447代理人贾会玲(51)Int.Cl.G06F16/901(2019.01)G06F16/907(2019.01)G06F16/11(2019.01)G06F16/13(2019.01)G06F16/182(2019.01)权利要求书3页说明书15页附图5页(54)发明名称数据管理方法、装置、存储介质以及电子设备(57)摘要本公开涉及一种数据管理方法、装置、存储介质以及电子设备,涉及数据库技术领域,该方法包括:获取引擎侧发送的数据访问请求,数据访问请求用于请求对数据湖中的第一目标数据进行访问操作;根据数据访问请求从元数据存储模块中确定对应第一目标数据的目标元数据,元数据存储模块采用不同的存储模式分别存储数据湖的元数据,采用不同的存储模式存储的元数据之间,具有至少一种相同的信息;将数据湖中对应目标元数据的第一目标数据发送给引擎侧。本公开的有益效果是:通过构建满足各种引擎需求的数据湖元数据统一服务视图,实现了不同引擎之间的元数据互通,从而达到数据共享的目的,避免产生额外的数据处理成本。CN113761294ACN113761294A权利要求书1/3页1.一种数据管理方法,其特征在于,包括:获取引擎侧发送的数据访问请求,其中,所述数据访问请求用于请求对数据湖中的第一目标数据进行访问操作;根据所述数据访问请求从元数据存储模块中确定对应所述第一目标数据的目标元数据,其中,所述元数据存储模块采用不同的存储模式分别存储所述数据湖的元数据,采用所述不同的存储模式存储的元数据之间,具有至少一种相同的信息;将所述数据湖中对应所述目标元数据的第一目标数据发送给所述引擎侧。2.根据权利要求1所述的方法,其特征在于,所述元数据存储模块采用不同的存储模式分别存储所述数据湖的元数据包括实例元数据、表级别元数据、提交元数据以及版本信息元数据;其中,所述实例元数据是在接收所述引擎侧向所述数据湖写入数据的请求时,创建的用于记录数据写入状态的元数据;所述提交元数据是在所述引擎侧向所述数据湖成功写入一次数据后提交的对应本次写入数据的元数据;所述版本信息元数据表征写入到所述数据湖的数据表的版本信息;所述表级别元数据记录有数据在所述数据湖的数据表中的索引信息。3.根据权利要求1所述的方法,其特征在于,所述元数据存储模块包括不同的存储系统,其中,针对每一所述存储系统,采用对应所述存储系统的存储模式存储所述数据湖的元数据。4.根据权利要求2所述的方法,其特征在于,所述表级别元数据包括数据分区信息以及每一分区下的每一数据的索引信息,所述将所述数据湖中对应所述目标元数据的第一目标数据发送给所述引擎侧,包括:根据所述目标元数据中包括的目标分区下的每一数据的索引信息,对所述目标分区中的数据进行分割,得到所述第一目标数据;将所述第一目标数据发送给所述引擎侧。5.根据权利要求2所述的方法,其特征在于,所述方法还包括:响应于向所述数据湖的目标数据表写入第二目标数据的请求,在所述元数据存储模块中创建对应请求时间点的实例元数据,并获取所述目标数据表在所述请求时间点的目标版本信息;根据所述目标版本信息以及所述目标数据表的最新版本信息,在确定所述第二目标数据的写入与针对所述目标数据表的历史写入请求不冲突的情况下,将所述第二目标数据写入所述数据湖的所述目标数据表中,其中,所述历史写入请求包括正在向所述数据湖写入数据的第一提交请求以及在所述目标版本信息与所述最新版本信息之间的各个版本对应的第二提交请求;在所述第二目标数据写入成功后,将对应所述第二目标数据的提交元数据存储在所述元数据存储模块中,并对所述元数据存储模块中对应所述目标数据表的表级别元数据和版本信息元数据以及为所述第二目标数据创建的实例元数据进行更新。6.根据权利要求5所述的方法,其特征在于,所述根据所述目标版本信息以及所述目标数据表的最新版本信息,在确定所述第二目标数据的写入与针对所述目标数据表的历史写2CN113761294A权利要求书2/3页入请求不冲突的情况下,将所述第二目标数据写入所述数据湖的所述目标数据表中,包括:根据所述目标版本信息以及所述最新版本信息,在确定所述第二目标数据的写入与所述第一提交请求和所述第二提交请求均不冲突的情况下,定期为所述请求时间点的实例元数据续租,并开始向所述目标数据表写入所述第二目标数据;在向所述目标数