预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共17页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760922A(43)申请公布日2021.12.07(21)申请号202011062797.XG06F16/27(2019.01)(22)申请日2020.09.30G06F16/28(2019.01)(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人赵力(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06F16/23(2019.01)G06F16/22(2019.01)G06F16/245(2019.01)权利要求书2页说明书10页附图4页(54)发明名称一种业务数据处理系统、方法、服务器和存储介质(57)摘要本发明实施例公开了一种业务数据处理系统、方法、服务器和存储介质,该系统包括:数据仓库集市数据层,用于按照预设频率将各业务数据源的全量数据同步到数据仓库数据集市,并对所述全量数据进行处理,得到业务宽表全量数据;增量数据层,用于与所述各业务数据源对接,获取各业务数据源的实时增量数据,得到业务宽表增量数据;业务处理层,用于对所述业务宽表全量数据进行校验,并将经过校验的业务宽表全量数据与所述业务宽表增量数据进行数据融合得到目标业务宽表数据。通过本发明实施例的技术方案,可以实现多业务部门间繁琐对接流程的解耦,而且保障了多数据源的对接时数据的一致性。CN113760922ACN113760922A权利要求书1/2页1.一种业务数据处理系统,其特征在于,包括:数据仓库集市数据层,用于按照预设频率将各业务数据源的全量数据同步到数据仓库数据集市,并对所述全量数据进行处理,得到业务宽表全量数据;增量数据层,用于与所述各业务数据源对接,获取各业务数据源的实时增量数据,得到业务宽表增量数据;业务处理层,用于对所述业务宽表全量数据进行校验,并将经过校验的业务宽表全量数据与所述业务宽表增量数据进行数据融合得到目标业务宽表数据。2.根据权利要求1所述的系统,其特征在于,所述数据仓库集市数据层具体用于:以天为单位,每天将当前数据同步时刻之前的所述各业务数据源的全量数据同步到所述数据仓库数据集市并记录数据同步的时间戳;按照当前业务方的业务模型将所述全量数据进行整合得到当日业务宽表全量数据;将所述当日业务宽表全量数据以及所述时间戳推送到所述当前业务方的业务数据库。3.根据权利要求2所述的系统,其特征在于,所述业务处理层对所述业务宽表全量数据进行校验,包括:确定所述各业务数据源的全量数据是否发生变化;若是,则根据变化后的全量数据更新所述当日业务宽表全量数据。4.根据权利要求2所述的系统,其特征在于,所述业务处理层进行数据融合时,通过调用Job任务在预设时间,将所述当日业务宽表全量数据和所述时间戳后的增量数据进行去重合并得到当日目标业务宽表数据。5.根据权利要求1所述的系统,其特征在于,所述增量数据层通过消息队列方式对接所述各业务数据源。6.根据权利要求1-5中任一所述的系统,其特征在于,所述业务处理层在进行数据融合前还用于对所述业务宽表增量数据进行数据校验和过滤。7.根据权利要求6所述的系统,其特征在于,所述业务处理层将所述业务宽表增量数据存储到MySQL数据库中,并使用分布式锁以保证所述各业务数据源增量数据的事务一致性。8.根据权利要求4所述的系统,其特征在于,所述系统还包括:业务存储层,用于将所述当日目标业务宽表数据存储到所述业务数据库中,并将所述当日目标业务宽表数据之前的目标业务宽表数据归档到ClickHouse数据库中进行分区存储。9.一种业务数据处理方法,应用于业务数据处理系统,其特征在于,包括:从数据仓库数据集市中获取当日业务宽表全量数据,其中,所述数据仓库数据集市包括每日更新的各业务数据源的全量数据,所述当日业务宽表全量数据是在所述数据仓库数据集市中对所述各业务数据源的全量数据进行处理得到的;从所述各业务数据源实时获取增量数据,得到业务宽表增量数据;将所述当日业务宽表全量数据与业务宽表增量数据进行数据融合得到当日目标业务宽表数据。10.根据权利要求9所述的方法,其特征在于,所述在所述数据仓库数据集市中对所述各业务数据源的全量数据进行处理,包括:每天将当前数据同步时刻之前的所述各业务数据源的全量数据同步到所述数据仓库数据集市并记录数据同步的时间戳;2CN113760922A权利要求书2/2页按照当前业务方的业务模型将所述全量数据进行整合得到所述当日业务宽表全量数据。11.根据权利要求9所述的方法,其特征在于,所述方法还包括:将所述当日目标业务宽表数据存储到MySQL数据库中,并将所述当日目标业务宽表数据之