预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共17页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115017159A(43)申请公布日2022.09.06(21)申请号202210724915.1(22)申请日2022.06.24(71)申请人国网数字科技控股有限公司地址100053北京市西城区广安门内大街311号申请人国网电商科技有限公司(72)发明人田晓芸陈昕李海茹高成康杨雨龙于灏陈媛君(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师王云晓(51)Int.Cl.G06F16/22(2019.01)G06F16/242(2019.01)G06F16/2453(2019.01)权利要求书2页说明书9页附图5页(54)发明名称数据处理方法及装置、存储介质及电子设备(57)摘要本发明提供了一种数据处理方法及装置、存储介质及电子设备,其中,先获取目标查询语句;对目标查询语句进行解析,获得各个数据表的依赖信息;当接收到预设的传输队列传输的业务数据时,确定业务数据的数据类型;在业务数据的数据类型为新增类型或修改类型的情况下,在各个数据表中确定业务数据所属的目标数据表;根据目标数据表和依赖信息判断存储区域中是否存在与业务数据相匹配的数据;若存在与业务数据相匹配的数据,则将业务数据和该数据组成宽表数据;将宽表数据存储到宽表中。能够通过数据表的依赖信息确定出与业务数据相匹配的数据,然后存储到一张宽表中,从而能够在一张宽表中获得用户所需的查询结果,极大的提升了查询效率。CN115017159ACN115017159A权利要求书1/2页1.一种数据处理方法,其特征在于,包括:响应于数据处理指令,获取所述数据处理指令对应的目标查询语句;对所述目标查询语句进行解析,获得各个数据表的依赖信息;当接收到预设的传输队列传输的业务数据时,确定所述业务数据的数据类型;在所述业务数据的数据类型为新增类型或修改类型的情况下,在各个所述数据表中确定所述业务数据所属的目标数据表;根据所述业务数据所属的目标数据表和所述依赖信息判断预设的存储区域中是否存在与所述业务数据相匹配的数据;若所述存储区域中存在与所述业务数据相匹配的数据,则将所述业务数据和所述数据组成宽表数据;将所述宽表数据存储到预设的宽表中。2.根据权利要求1所述的方法,其特征在于,还包括:在所述业务数据的数据类型为删除类型的情况下,获得所述业务数据对应的索引信息;删除预设宽表中的与所述索引信息相匹配的数据。3.根据权利要求1所述的方法,其特征在于,还包括:若所述数据库中不存在与所述业务数据相匹配的数据,则将所述业务数据缓存到所述存储区域中。4.根据权利要求1所述的方法,其特征在于,所述将所述宽表数据存储到预设的宽表之后,还包括:当接收到查询指令时,在所述宽表中查询与所述查询指令相匹配的宽表数据,并输出与所述查询指令相匹配的宽表数据。5.根据权利要求1所述的方法,其特征在于,获取所述数据处理指令对应的目标查询语句,包括:获取所述数据处理指令中包含的计算模型;将所述计算模型转换成所述数据处理指令对应的目标查询语句。6.根据权利要求1所述的方法,其特征在于,所述根据所述业务数据所属的目标数据表和所述依赖信息判断预设的存储区域中是否存在与所述业务数据相匹配的数据,包括:根据所述依赖信息确定与业务数据所属的目标数据表相关联的数据表;判断预设的存储区域中是否存在与所述目标数据表相关联的数据表的表数据;所述存储区域包括内存和分布式存储系统hbase数据库中的至少一种;若所述存储区域中存在与所述目标数据表相关联的数据表的表数据,则确定所述存储区域中存在与所述业务数据相匹配的数据。7.一种数据处理装置,其特征在于,包括:获取单元,用于响应数据处理指令,获取所述数据处理指令对应的目标查询语句;解析单元,用于对所述目标查询语句进行解析,获得各个数据表的依赖信息;接收单元,用于当接收到预设的传输队列传输的业务数据时,确定所述业务数据的数据类型;确定单元,用于在所述业务数据的数据类型为新增类型或修改类型的情况下,在各个2CN115017159A权利要求书2/2页所述数据表中确定所述业务数据所属的目标数据表;判断单元,用于根据所述业务数据所属的目标数据表和所述依赖信息判断预设的存储区域中是否存在与所述业务数据相匹配的数据;执行单元,用于若所述存储区域中存在与所述业务数据相匹配的数据,则将所述业务数据和所述数据组成宽表数据;存储单元,用于将所述宽表数据存储到预设的宽表中。8.根据权利要求7所述的装置,其特征在于,获取单元,包括:获取子单元,用于获取所述数据处理指令中包含的计算模型;转换子单元,用于将所述计算模型转换成所述数据处理指令对应的目标查询语句。9.一种存储介质,其特征在于,所述存储介质包括存储指令,其中,在所述指令运行时控制所述存储介质所在的