一种数据模型抽取方法及系统、终端、介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116089518A(43)申请公布日2023.05.09(21)申请号202310361512.XG06F16/28(2019.01)(22)申请日2023.04.07(71)申请人广州思迈特软件有限公司地址510663广东省广州市天河区高普路136号第三层05区A、B单元(72)发明人吴华夫黄浩黄潮勇张亿仙刘芳(74)专利代理机构上海恒慧知识产权代理事务所(特殊普通合伙)31317专利代理师徐红银张琳(51)Int.Cl.G06F16/25(2019.01)G06F16/215(2019.01)G06F16/23(2019.01)G06F16/2455(2019.01)权利要求书1页说明书6页附图6页(54)发明名称一种数据模型抽取方法及系统、终端、介质(57)摘要本发明提供一种数据模型抽取方法和系统、终端和介质，包括：将ETL任务和数据模型抽取任务串行执行；数据模型抽取任务完成后，更新高速缓存库中的数据模型；查询当前数据模型的数据时，直接从高速缓存库中获取。本发明将业务库数据抽取到指定数据库以及数据模型抽取任务串行执行，有效保证数据的准确性和一致性；在产品的作业流里面，可以很清晰地看到是ETL抽取过程失败，还是数据模型抽取过程失败。相比之前两个定时任务错开执行的方式，比较清晰，提高故障排查效率，简化运维成本；本发明数据模型抽取到高速缓存库后，再次查询当前数据集或分析的数据时，能够直接从高速缓存库获取数据，保证秒级获取大级别量的数据结果，提高系统性能。CN116089518ACN116089518A权利要求书1/1页1.一种数据模型抽取方法，其特征在于，包括：将ETL任务和数据模型抽取任务串行执行；所述数据模型抽取任务完成后，更新高速缓存库中的数据；查询当前数据模型的数据时，直接从所述高速缓存库中获取。2.根据权利要求1所述的一种数据模型抽取方法，其特征在于，所述将ETL任务和数据模型抽取任务串行执行，包括：建立若干个ETL任务；建立作业流；将所述作业流与所述ETL任务串联；将所述数据模型抽取任务与所述ETL任务串联；设置所述作业流的定时任务；执行所述作业流的定时任务，若执行成功，执行所述ETL任务，即ETL灌数到指定数据库表，并进行所述数据模型抽取任务；若执行失败，根据重试机制，再次执行所述作业流。3.根据权利要求2所述的一种数据模型抽取方法，其特征在于，所述作业流由多个任务组成，包括所述ETL任务和所述数据模型抽取任务。4.根据权利要求2所述的一种数据模型抽取方法，其特征在于，所述重试机制为通过监听所述作业流定时执行的状态，判断是否在给定的时间后自动重新运行当前运行失败的作业流。5.根据权利要求2所述的一种数据模型抽取方法，其特征在于，若是所述作业流的定时任务执行失败，能够直接判断是所述ETL任务还是所述数据模型抽取任务的执行失败。6.根据权利要求1所述的一种数据模型抽取方法，其特征在于，从所述高速缓存库中获取数据时，能够秒级获取亿级数据结果。7.根据权利要求1所述的一种数据模型抽取方法，其特征在于，一个数据模型执行同个作业流多次或者执行多个不同的作业流。8.一种数据模型抽取系统，其特征在于，包括：串行模块，该模块将ETL任务和数据模型抽取任务串行执行；更新模块，所述数据模型抽取任务完成后，更新高速缓存库中的数据；查询模块，查询当前数据模型的数据时，直接从所述高速缓存库中获取。9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时用于执行权利要求1‑7中任一项所述的数据模型抽取方法，或，运行权利要求8所述的数据模型抽取系统。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行用于执行权利要求1‑7中任一项所述的数据模型抽取方法，或，运行权利要求8所述的数据模型抽取系统。2CN116089518A说明书1/6页一种数据模型抽取方法及系统、终端、介质技术领域[0001]本发明涉及大数据领域，具体地，涉及一种数据模型抽取方法及系统、终端、介质。背景技术[0002]ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。[0003]在现有技术中，复杂的数据处理都要借助上述ETL完成，同时为了提升查询性能，会把数据模型的数据抽取到缓存库，但必须是ETL任务完成之后，才执行数据模型的抽取。[0004]技术人员在指标模型中建好维表或事实表，需要绑定ETL进行灌数；而生成的指标模式默认是直连，由于是模型表，数据量太多直连性能出现问题，所以改成“抽取模式”，而现有技术中数据模型抽取模式下会自