数据处理方法、装置、设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113886425A(43)申请公布日2022.01.04(21)申请号202111227363.5(22)申请日2021.10.21(71)申请人北京锐安科技有限公司地址100044北京市海淀区西小口路66号中关村东升科技园北领地B-2号楼七层(72)发明人邬俊万月亮火一莽(74)专利代理机构北京品源专利代理有限公司11332代理人蔡舒野(51)Int.Cl.G06F16/242(2019.01)G06F16/2453(2019.01)权利要求书2页说明书8页附图3页(54)发明名称数据处理方法、装置、设备以及存储介质(57)摘要本发明公开了一种数据处理方法、装置、设备以及存储介质，属于大数据技术领域。该方法包括：获取待处理数据集的原查询语句；对所述原查询语句中的关键字和/或关联字段进行优化，得到目标查询语句；所述目标查询语句的数量少于所述原查询语句的数量；采用所述目标查询语句，对所述待处理数据集进行查询，以得到查询结果。通过上述技术方案，对原查询语句进行优化，减少了查询开销，提高了查询效率。CN113886425ACN113886425A权利要求书1/2页1.一种数据处理方法，其特征在于，包括：获取待处理数据集的原查询语句；对所述原查询语句中的关键字和/或关联字段进行优化，得到目标查询语句；所述目标查询语句的数量少于所述原查询语句的数量；采用所述目标查询语句，对所述待处理数据集进行查询，以得到查询结果。2.根据权利要求1所述的方法，其特征在于，所述对所述原查询语句中的关联字段进行优化，得到目标查询语句，包括：对所述原查询语句中的关联字段进行非空处理，得到目标查询语句。3.根据权利要求1所述的方法，其特征在于，所述对所述原查询语句中的关键字进行优化，得到目标查询语句，包括：识别所述原查询语句中的低效关键字是否是设定关键字；若否，则采用所述设定关键字替换所述原查询语句中的低效关键字，得到目标查询语句。4.根据权利要求1所述的方法，其特征在于，在对所述原查询语句中的关键字和/或关联字段进行优化，得到目标查询语句之后，还包括：对所述目标查询语句进行去重处理；相应的，采用所述目标查询语句，对所述待处理数据集进行查询，以得到查询结果，包括：采用去重后的目标查询语句，对所述待处理数据集进行查询，以得到查询结果。5.根据权利要求4所述的方法，其特征在于，所述对所述目标查询语句进行去重处理，包括：根据所述目标查询语句中的查询字段、查询表和查询条件，对所述目标查询语句进行去重处理。6.根据权利要求1所述的方法，其特征在于，还包括：对源数据进行分组和/或排序，得到待处理数据集。7.一种数据处理装置，其特征在于，包括：原查询语句获取模块，用于获取待处理数据集的原查询语句；目标查询语句确定模块，用于对所述原查询语句中的关键字和/或关联字段进行优化，得到目标查询语句；所述目标查询语句的数量少于所述原查询语句的数量；查询结果确定模块，用于采用所述目标查询语句，对所述待处理数据集进行查询，以得到查询结果。8.根据权利要求7所述的装置，其特征在于，所述目标查询语句确定模块具体用于：对所述原查询语句中的关联字段进行非空处理，得到目标查询语句。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1‑6中任一项所述的数据处理方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器2CN113886425A权利要求书2/2页执行时实现如权利要求1‑6中任一项所述的数据处理方法。3CN113886425A说明书1/8页数据处理方法、装置、设备以及存储介质技术领域[0001]本发明实施例涉及大数据技术领域，尤其涉及一种数据处理方法、装置、设备以及存储介质。背景技术[0002]近几年，Spark作为下一代通用大数据计算平台，因其高效的海量数据处理能力得到了越来越多企业和研究人员的关注。SparkSQL作为Spark上的结构化数据和半结构化数据的查询引擎被越来越多的企业、机构用于分析他们积累的结构化数据和半结构化数据。[0003]一般简单的数据分析，在大数据存储后，根据存储提供的查询服务就可以获取想要的结果。当查询比较复杂，比如涉及到关联查询、批量碰撞、或者查询结果的再次分析等场景，又或者在提供服务的持久化的存储周期较小，而不提供查询的备份数据持久化时间较长的场景，就需要进行模型分析计算。[0004]因此如何快速的进行模型分析计算，对于海量数据查询尤为重要。发明内容[0005]本发明提供一种数据处理方法、装置、设备以及存储介质，以实现数据的快速查询。