数据加工方法、装置、存储介质以及终端.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114138762A(43)申请公布日2022.03.04(21)申请号202111444683.6(22)申请日2021.11.30(71)申请人李瑞强地址010010内蒙古自治区呼和浩特市赛罕区腾飞路39号(72)发明人李瑞强王晓东李明娜李妍石艳菊张巍(74)专利代理机构北京恒博知识产权代理有限公司11528代理人张晓芳(51)Int.Cl.G06F16/215(2019.01)G06F16/23(2019.01)G06F16/2455(2019.01)G06F16/248(2019.01)权利要求书2页说明书13页附图6页(54)发明名称数据加工方法、装置、存储介质以及终端(57)摘要本申请公开了一种数据加工方法、装置、存储介质以及终端，首先确定目标业务对应的数据资源体系；再根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息；进一步采集数据来源系统的第一元数据，根据第一元数据创建目标数据库，以及存储目标数据至目标数据库；最后采集目标数据库的第二元数据，根据数据资源体系以及第二元数据对目标数据进行加工，生成目标业务的数据报表。由于在处理加工数据时，将集成数据、数据来源管理、接入数据、存储数据、加工数据等多个数据处理流程串联起来，这样数据加工方法适应性强，能够灵活调整，且保证了数据处理时不同流程之间的连贯性，提高数据加工效率和数据加工质量。CN114138762ACN114138762A权利要求书1/2页1.一种数据加工方法，其特征在于，所述方法包括：确定目标业务对应的数据资源体系，以及初始化所述数据资源体系；根据所述数据资源体系确定所述目标业务对应的数据来源系统，以及获取所述数据来源系统的数据来源信息；根据所述数据来源信息采集所述数据来源系统的第一元数据，根据所述第一元数据创建目标数据库，以及存储所述数据来源系统中的目标数据至所述目标数据库；采集所述目标数据库的第二元数据，根据所述数据资源体系以及所述第二元数据对所述目标数据进行加工，生成所述目标业务对应的数据报表。2.根据权利要求1所述的方法，其特征在于，所述确定目标业务对应的数据资源体系，包括：根据数据调研结果确定所述目标业务的集成数据，根据所述集成数据确定所述目标业务对应的各数据加工模板；根据各数据加工模板确定所述目标业务对应的数据资源体系。3.根据权利要求1或2所述的方法，其特征在于，所述存储所述数据来源系统中的目标数据至所述目标数据库，包括：根据所述数据资源体系采集所述数据来源系统中的目标数据；生成所述数据来源信息中的目标数据对应的存储任务，以及生成所述存储任务对应的监控任务；根据所述存储任务将所述目标数据存储至所述目标数据库，以及根据所述监控任务监控所述存储任务是否正常执行。4.根据权利要求1所述的方法，其特征在于，所述根据所述数据资源体系以及所述第二元数据对所述目标数据进行加工，包括：根据所述数据资源体系配置所述目标业务对应的数据资源目录；根据所述第二元数据配置所述数据资源目录中的数据信息；根据所述数据信息配置所述目标业务的数据报表对应的查询排序条件。5.根据权利要求4所述的方法，其特征在于，所述生成所述目标业务对应的数据报表之后，还包括：生成与其他系统进行数据传输的服务接口，以及生成所述目标业务对应的初始化检索任务，所述初始化检索任务用于根据接收的指令对所述数据报表进行检索；生成数据质量校验任务，所述数据质量校验任务用于校验所述目标数据中出现的数据异常。6.根据权利要求1所述的方法，其特征在于，所述根据所述数据来源信息采集所述数据来源系统的第一元数据之后，还包括：对所述第一元数据进行异常检测，若所述第一元数据异常，则对所述第一元数据进行维护管理；和/或以及所述采集所述目标数据库的第二元数据之后，还包括：对所述第二元数据进行异常检测，若所述第二元数据异常，则对所述第二元数据进行维护管理。7.根据权利要求1所述的方法，其特征在于，所述数据来源信息至少包括所述数据来源2CN114138762A权利要求书2/2页系统对应的基本信息、归属信息、厂商信息、数据路径信息。8.一种数据加工装置，其特征在于，所述装置包括：数据资源确定模块，用于确定目标业务对应的数据资源体系，以及初始化所述数据资源体系；数据来源管理模块，用于根据所述数据资源体系确定所述目标业务对应的数据来源系统，以及获取所述数据来源系统的数据来源信息；业务数据入库模块，用于根据所述数据来源信息采集所述数据来源系统的第一元数据，根据所述第一元数据创建目标数据库，以及存储所述数据来源系统中的目标数据至所述目标数据库；数据加工模块，用于采集所述目标数据库的第二元数据，根据所述数据资源体系以及所述第二元数据对