数据读取方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113868285A(43)申请公布日2021.12.31(21)申请号202111157629.3(22)申请日2021.09.30(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人魏勇楚克明甘琪秦斌(74)专利代理机构深圳市沃德知识产权代理事务所(普通合伙)44347代理人高杰于志光(51)Int.Cl.G06F16/242(2019.01)G06F16/22(2019.01)G06F16/27(2019.01)权利要求书2页说明书9页附图2页(54)发明名称数据读取方法、装置、电子设备及存储介质(57)摘要本发明涉及大数据领域，揭露一种数据读取方法、装置、电子设备以及存储介质，所述方法包括：接收客户端传输的数据读取请求，将数据读取请求转换为数据查询语句，构建数据查询语句的索引，得到目标查询语句；根据目标查询语句中的查询对象，对目标查询语句进行拆分，得到多个子查询语句，从客户端对应的源数据方中读取每个子查询语句的查询数据，得到多个查询数据；将多个查询数据进行关系整合，以生成目标查询语句的查询文件；将查询文件进行分片，得到多个子分片文件，并将多个子分片文件返回至客户端的本地磁盘中。此外，本发明还涉及区块链技术，所述子分片文件可存储区块链中。本发明可以提高数据读取的效率。CN113868285ACN113868285A权利要求书1/2页1.一种数据读取方法，其特征在于，所述方法包括：接收客户端传输的数据读取请求，将所述数据读取请求转换为数据查询语句，构建所述数据查询语句的索引，得到目标查询语句；根据所述目标查询语句中的查询对象，对所述目标查询语句进行拆分，得到多个子查询语句，从所述客户端对应的源数据方中读取每个所述子查询语句的查询数据，得到多个查询数据；将所述多个查询数据进行关系整合，以生成所述目标查询语句的查询文件；将所述查询文件进行分片，得到多个子分片文件，并将所述多个子分片文件返回至所述客户端的本地磁盘中。2.如权利要求1所述的数据读取方法，其特征在于，所述将所述数据读取请求转换为数据查询语句，包括：识别所述查询请求的数据查询标识，并获取所述数据读取请求中的查询对象；根据所述数据查询标识及所述查询对象，构建所述数据读取请求的数据查询语句。3.如权利要求2所述的数据读取方法，其特征在于，所述构建所述数据查询语句的索引，得到目标查询语句，包括：计算所述数据查询语句的Md5值；将所述Md5值作为所述数据查询语句的索引后加载至所述数据查询语句中，得到所述目标查询语句。4.如权利要求3所述的数据读取方法，其特征在于，所述计算所述数据查询语句的Md5值，包括：利用下述公式计算数据查询语句的Md5值：fakeMd5expect＝ΣMd5i其中，fakeMd5expect表示数据查询语句的Md5值，Md5i表示数据查询语句第i个字段的数据签名，i表示数据查询语句中的字段。5.如权利要求1所述的数据读取方法，其特征在于，所述根据所述目标查询语句中的查询对象，对所述目标查询语句进行拆分，得到多个子查询语句，包括：识别所述目标查询语句中查询对象的对象字段，按照所述对象字段，将所述目标查询语句划分多个查询语句，得到所述多个子查询语句。6.如权利要求1所述的数据读取方法，其特征在于，所述从所述客户端对应的源数据方中读取每个所述子查询语句的查询数据，得到多个查询数据，包括：判断所述子查询语句的数量是否超过预设阈值；若所述子查询语句的数量未超过预设阈值，采用并发线程执行的方式从所述客户端对应的源数据方中读取每个所述子查询语句的查询数据，得到多个查询数据；若所述子查询语句的数量超过所述预设阈值，对所述子查询语句进行分批处理，根据分批处理的结果，采用并发线程执行的方式从所述客户端对应的源数据方中读取每个所述子查询语句的查询数据，得到多个查询数据。7.如权利要求1所述的数据读取方法，其特征在于，所述将所述查询文件进行分片，得到多个子分片文件，包括：基于预设的分片长度对所述查询文件进行长度分片，得到多个长度分片文件；2CN113868285A权利要求书2/2页对每个所述长度分片文件进行分片号标识，得到多个子分片文件。8.一种数据读取装置，其特征在于，所述装置包括：查询语句幂等模块，用于接收客户端传输的数据读取请求，将所述数据读取请求转换为数据查询语句，构建所述数据查询语句的索引，得到目标查询语句；查询数据拉取模块，用于根据所述目标查询语句中的查询对象，对所述目标查询语句进行拆分，得到多个子查询语句，从所述客户端对应的源数据方中读取每个所述子查询语句的查询数据，得到多个查询数据；查询文件生成模块，用