批量数据整合方法、装置、存储介质及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107908692A(43)申请公布日2018.04.13(21)申请号201711056041.2(22)申请日2017.11.01(71)申请人中国银行股份有限公司地址100818北京市西城区复兴门内大街1号(72)发明人胡蒂商利国曹克魏东升(74)专利代理机构北京三友知识产权代理有限公司11127代理人王涛(51)Int.Cl.G06F17/30(2006.01)权利要求书1页说明书8页附图3页(54)发明名称批量数据整合方法、装置、存储介质及设备(57)摘要本发明提供了一种批量数据整合方法、装置、存储设备及介质。该方法包括：利用调度组件接收来自上游系统的数据文件，并将数据文件分发给监控组件；利用监控组件对数据文件开启内存锁，并转发给执行组件；利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理，并转发给业务组件；利用业务组件对数据文件进行业务逻辑处理，并关闭内存锁；其中，调度组件、监控组件、执行组件及业务组件是根据数据文件的业务类型预先定义；多个不同业务类型的数据文件利用其各自的调度组件、监控组件、执行组件及业务组件并行进行数据整合。本发明能够满足时效性、可维护性、文件兼容性等方面要求。CN107908692ACN107908692A权利要求书1/1页1.一种批量数据整合方法，其特征在于，包括：利用调度组件接收来自上游系统的数据文件，并将数据文件分发给监控组件；利用监控组件对数据文件开启内存锁，并转发给执行组件；利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理，并转发给业务组件；利用业务组件对数据文件进行业务逻辑处理，并关闭内存锁；其中，调度组件、监控组件、执行组件及业务组件是根据数据文件的业务类型预先定义；多个不同业务类型的数据文件利用其各自的调度组件、监控组件、执行组件及业务组件并行进行数据整合。2.如权利要求1所述的批量数据整合方法，其特征在于，利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理，并转发给业务组件之前，还包括：利用监控组件对数据文件进行容错处理。3.如权利要求1所述的批量数据整合方法，其特征在于，调度组件、监控组件、执行组件及业务组件是以Java语言为基础，同时使用Sh语言预先定义。4.如权利要求1所述的批量数据整合方法，其特征在于，调度组件、监控组件、执行组件及业务组件中的多个文件是根据业务类型的信息命名。5.一种批量数据整合装置，其特征在于，包括：调度单元，用于：利用调度组件接收来自上游系统的数据文件，并将数据文件分发给监控组件；监控单元，用于：利用监控组件对数据文件开启内存锁，并转发给执行组件；执行单元，用于：利用执行组件对数据文件进行包括解压缩、改名、备份及删除中的一种或多种处理，并转发给业务组件；业务单元，用于：利用业务组件对数据文件进行业务逻辑处理，并关闭内存锁；组件定义单元，用于执行：调度组件、监控组件、执行组件及业务组件是根据数据文件的业务类型预先定义；并行整合单元，用于执行：多个不同业务类型的数据文件利用其各自的调度组件、监控组件、执行组件及业务组件并行进行数据整合。6.如权利要求5所述的批量数据整合装置，其特征在于，监控单元，还用于：利用监控组件对数据文件进行容错处理。7.如权利要求5所述的批量数据整合装置，其特征在于，组件定义单元，还用于执行：调度组件、监控组件、执行组件及业务组件是以Java语言为基础，同时使用Sh语言预先定义。8.如权利要求5所述的批量数据整合装置，其特征在于，组件定义单元，还用于执行：调度组件、监控组件、执行组件及业务组件中的多个文件是根据业务类型的信息命名。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4所述方法的步骤。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4所述方法的步骤。2CN107908692A说明书1/8页批量数据整合方法、装置、存储介质及设备技术领域[0001]本发明涉及数据处理技术领域，尤其涉及一种批量数据整合方法、装置、存储介质及设备。背景技术[0002]目前，若客户通过网银查询个人相关信息，通常会有很多批量文件从源系统传输到DCDS(文件分发中转系统)，再从DCDS传输至网银系统，最终由前端显示相关信息。该类批量文件的数据量巨大，且对时效性要求很高。所以，网银需要批量处理工具，进行高效的数据加载，以保证前端应用运行正常。然而，目前采用sh批量处理工具加载数据，只是脚本程序在处理文件，基本上是几个脚本解决一切，从时效性、可维护性、文件兼容性等方面