一种数据处理系统及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114969047A(43)申请公布日2022.08.30(21)申请号202210629035.6(22)申请日2022.06.06(71)申请人中国银行股份有限公司地址100818北京市西城区复兴门内大街1号(72)发明人张家星文国军丁一斐张浩瑀金鸣(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师郄晨芳(51)Int.Cl.G06F16/22(2019.01)G06F16/2453(2019.01)G06F16/2458(2019.01)权利要求书2页说明书9页附图4页(54)发明名称一种数据处理系统及方法(57)摘要本发明提供了一种数据处理系统及方法，可应用于金融领域或其他领域，其中，系统中的数据采集模块实时在数据源中获取原始数据；数据存储模块在数据采集模块中获得目标流数据，并在到达同步时间点时，将数据采集模块中的所有原始数据存储到预设的批量存储区域；到达回流时间点时，将获得的目标流数据存储到批量存储区域中，并将批量存储区域中存储的数据确定为批量数据；计算模块对目标流数据和批量数据进行加工计算，获得每个业务指标的指标数据；服务模块将各指标数据存储到到目标存储表中；应用模块将查询指令发送到服务模块；服务模块从目标存储表中获取对应的指标数据，并发送到应用模块。能够提高数据处理效率，节约数据处理资源。CN114969047ACN114969047A权利要求书1/2页1.一种数据处理系统，其特征在于，包括：数据采集模块、数据存储模块、计算模块、服务模块和应用模块；数据采集模块，用于实时在预设的数据源中获取待处理的原始数据；数据存储模块，用于在所述数据采集模块已获取的各个原始数据中获得目标流数据，并在到达预设的同步时间点时，将所述数据采集模块中的所有原始数据存储到预设的批量存储区域；到达预设的回流时间点时，将获得的所述目标流数据存储到所述批量存储区域中，并将所述批量存储区域中存储的数据确定为批量数据；计算模块，用于对所述目标流数据进行加工计算，获得每个预设的业务指标对应的第一指标数据；并对所述批量数据进行加工计算，获得每个所述业务指标对应的第二指标数据；所述服务模块，用于将每个所述业务指标对应的第一指标数据和第二指标数据存储到到预设的目标存储表中；所述应用模块，用于获得查询指令，并将所述查询指令发送到所述服务模块；所述服务模块，还用于当接收到所述应用模块发送的查询指令时，从所述目标存储表中获取与所述查询指令对应的指标数据，并将与所述查询指令对应的指标数据发送到所述应用模块。2.根据权利要求1所述的数据处理系统，其特征在于，所述数据存储模块，用于：确定所述数据采集模块的各个所述原始数据的获取时间点；根据各个所述原始数据的获取时间点，在所述数据采集模块已获取的各个所述原始数据中获取目标流数据；所述目标流数据的获取时间点在预设的采集时间点之后。3.根据权利要求1所述的数据处理系统，其特征在于，所述数据存储模块，用于：确定所述数据采集模块中的每一所述原始数据的数据类型；所述数据类型包括结构化数据类型、半结构化数据类型和非结构化数据类型中的一种；按每个所述原始数据的数据类型对应的存储方式将每个所述原始数据存储到预设的批量存储区域。4.根据权利要求1所述的数据处理系统，其特征在于，所述应用模块，还用于：获取所述目标存储表中存储的每个所述业务指标对应的第一指标数据和第二指标数据；对于每个所述业务指标，利用所述业务指标对应的所述第二指标数据对所述业务指标对应的所述第一指标数据进行修正。5.根据权利要求1所述的数据处理系统，其特征在于，所述应用模块，还用于：接收所述服务模块发送的与所述查询指令对应的指标数据；应用预设的数据挖掘算法对接收到的所述指标数据进行数据挖掘。6.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括数据采集模块、数据存储模块、计算模块、服务模块和应用模块，所述方法包括：所述数据采集模块实时在预设的数据源中获取待处理的原始数据；所述数据存储模块在所述数据采集模块已获取的各个原始数据中获得目标流数据，并在到达预设的同步时间点时，将所述数据采集模块中的所有原始数据存储到预设的批量存储区域；到达预设的回流时间点时，将获得的所述目标流数据存储到所述批量存储区域中，2CN114969047A权利要求书2/2页并将所述批量存储区域中存储的数据确定为批量数据；所述计算模块对所述目标流数据进行加工计算，获得每个预设的业务指标对应的第一指标数据；并对所述批量数据进行加工计算，获得每个所述业务指标对应的第二指标数据；所述服务模块将每个所述业务指标对应的第一指标数据和第二指标数据存储到到预设的目标存储表中；所述应用模块获得查询指令，并将所述查询指令发