数据操作方法、装置、存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113918659A(43)申请公布日2022.01.11(21)申请号202111051561.0(22)申请日2021.09.08(71)申请人北京火山引擎科技有限公司地址100190北京市海淀区紫金数码园4号楼13层1309(72)发明人孙科徐庆梅洋郭俊郭俊冯玮(74)专利代理机构北京英创嘉友知识产权代理事务所(普通合伙)11447代理人魏云鹿(51)Int.Cl.G06F16/28(2019.01)G06F16/16(2019.01)G06F16/14(2019.01)G06F3/06(2006.01)权利要求书2页说明书12页附图3页(54)发明名称数据操作方法、装置、存储介质及电子设备(57)摘要本公开涉及一种数据操作方法、装置、存储介质及电子设备，以减少离线数据仓库场景下数据操作过程中的资源消耗和时间消耗，提高数据操作效率。该方法包括：响应于针对离线数据仓库中目标数据的数据操作请求，根据目标数据的标识信息，在离线数据仓库中检索存储有目标数据的目标文件，其中离线数据仓库中用户关联的第一数据存储在第一文件中，所述用户关联的第二数据存储在第二文件中，所述第一数据能够唯一标识所述用户；基于标识信息查询目标文件中的数据，若查询到的数据的标识信息与目标数据的所述标识信息相同，则确定目标文件中数据对应的待操作数据行；对待操作数据行中的数据执行数据操作请求对应的数据操作。CN113918659ACN113918659A权利要求书1/2页1.一种数据操作方法，其特征在于，所述方法包括：响应于针对离线数据仓库中目标数据的数据操作请求，根据所述数据操作请求携带的所述目标数据的标识信息，在所述离线数据仓库中检索存储有所述目标数据的目标文件，其中所述离线数据仓库中用户关联的第一数据存储在第一文件中，所述用户关联的第二数据存储在第二文件中，所述第一数据能够唯一标识所述用户；基于所述标识信息查询所述目标文件中的数据，若查询到的数据的标识信息与所述目标数据的所述标识信息相同，则确定所述目标文件中该数据对应的待操作数据行；对所述待操作数据行中的数据执行所述数据操作请求对应的数据操作。2.根据权利要求1所述的方法，其特征在于，所述离线数据仓库中的数据是通过如下方式存储到所述离线数据仓库的：对待存储到所述离线数据仓库的数据所包括的每一子数据进行分类，得到所述数据中能够唯一标识用户的第一子数据和无法唯一标识所述用户的第二子数据；将所述第一子数据写入所述离线数据仓库的所述第一文件，并将所述第二子数据写入所述离线数据仓库的所述第二文件；建立所述第一文件中的所述第一子数据与所述第二文件中的所述第二子数据之间的映射关系，所述映射关系用于表征所述第一子数据与所述第二子数据关联同一用户。3.根据权利要求2所述的方法，其特征在于，所述将所述第一子数据写入所述离线数据仓库的所述第一文件，并将所述第二子数据写入所述离线数据仓库的所述第二文件，包括：将所述第一子数据写入所述第一文件的目标数据行，并将所述第二子数据写入所述第二文件中行号与所述目标数据行相同的数据行；所述建立所述第一文件中的所述第一子数据与所述第二文件中的所述第二子数据之间的映射关系，包括：通过所述第一子数据在所述第一文件中的数据行号和所述第二子数据在所述第二文件中的数据行号，将所述第一子数据与所述第二子数据进行映射。4.根据权利要求1‑3任一项所述的方法，其特征在于，所述离线数据仓库中所述第一文件的文件名包括哈希值，所述哈希值是对所述第一文件中存储的多个数据的标识信息进行哈希计算而确定的；所述根据所述数据操作请求携带的所述目标数据的标识信息，在所述离线数据仓库中检索存储有所述目标数据的目标文件，包括：根据所述数据操作请求携带的所述目标数据的标识信息进行哈希计算，得到所述目标数据对应的目标哈希值；基于所述目标哈希值，在所述离线数据仓库中检索各所述第一文件的文件名，并将所述文件名中的所述哈希值与所述目标哈希值相同的所述第一文件确定为存储有所述目标数据的目标文件。5.根据权利要求1‑3任一项所述的方法，其特征在于，所述对所述目标数据行中的数据执行所述数据操作请求对应的数据操作，包括：基于所述目标文件执行数据写操作，得到所述目标文件对应的文件副本，并在所述文件副本中确定所述待操作数据行对应的副本数据行；对所述副本数据行中的数据执行所述数据操作请求对应的数据操作。2CN113918659A权利要求书2/2页6.根据权利要求5所述的方法，其特征在于，所述方法还包括：在执行所述数据操作之前，响应于对所述目标文件的数据读取请求，从所述目标文件中读取对应的数据；在执行所述数据操作之后，响应于对所述目标文件的数据读取请求，从已执行所述数据操作请求的所