数据处理方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113918639A(43)申请公布日2022.01.11(21)申请号202111274455.9(22)申请日2021.10.29(71)申请人中国平安财产保险股份有限公司地址518000广东省深圳市福田区益田路5033号平安金融中心12、13、38、39、40层(72)发明人卢显锋(74)专利代理机构深圳国新南方知识产权代理有限公司44374代理人艾青(51)Int.Cl.G06F16/25(2019.01)G06F16/21(2019.01)权利要求书2页说明书10页附图2页(54)发明名称数据处理方法、装置、设备和存储介质(57)摘要本申请提出一种数据处理方法、装置、设备和存储介质，该方法包括：根据第一数据库对应的回收频率，将第一数据库中的目标数据转换为第一数据类型的中转数据后回收至大数据仓库中；基于目的数据库与对应的源数据库之间的推送规则，根据大数据仓库中源数据库的中转数据获取目的数据库的目标中转数据；根据目的数据库所支持的数据类型，将目标中转数据转换为第二数据类型的推送数据后推送至目的数据库。本申请实现了不同数据库之间的数据格式转换和数据传输，适用各种不同的业务场景下不同数据库之间的数据交互和中转。CN113918639ACN113918639A权利要求书1/2页1.一种数据处理方法，其特征在于，所述方法包括：根据第一数据库对应的回收频率，将所述第一数据库中的目标数据转换为第一数据类型的中转数据后回收至大数据仓库中；基于目的数据库与对应的源数据库之间的推送规则，根据所述大数据仓库中所述源数据库的中转数据获取所述目的数据库的目标中转数据；根据目的数据库所支持的数据类型，将所述目标中转数据转换为第二数据类型的推送数据后推送至所述目的数据库，其中，所述目的数据库为第一数据库中的一种，所述源数据库为不同于所述目的数据库的第一数据库。2.根据权利要求1所述的方法，其特征在于，所述根据第一数据库对应的回收频率，将所述第一数据库中的目标数据转换为第一数据类型的中转数据后回收至大数据仓库中，包括：根据第一数据库对应的回收频率，对所述第一数据库中的目标数据进行抓取；将抓取的目标数据转换为第一数据类型的中转数据传输至大数据仓库；将所述中转数据加载并回收至所述大数据仓库中。3.根据权利要求2所述的方法，其特征在于，所述对所述第一数据库中的目标数据进行抓取，包括：根据所述第一数据库中不同业务类型的数据对应的回收方式确定所述第一数据库中待抓取数据，所述回收方式包括流水式回收、增量式回收和全量式回收；根据所述第一数据库对应的预设过滤规则，对所述待抓取数据中的残缺数据进行过滤，其中，所述残缺数据包括字段不全的数据、信息不全的数据以及不合规的数据中的至少一种；对过滤后保留的目标数据进行抓取。4.根据权利要求2所述的方法，其特征在于，所述将抓取的目标数据转换为第一数据类型的中转数据传输至大数据仓库，包括：通过数据划分将非列值形式的目标数据所包含的所有字段以及字段取值分解为列值形式数据；将所述字段取值及所述字段打包为第一文件流时将所述字段取值转换为第一数据类型的中间字段取值，将打包好的第一文件流传输至大数据仓库，其中，中转数据包括列值形式的所述字段及所述中间字段取值。5.根据权利要求2所述的方法，其特征在于，所述将所述中转数据加载并回收至所述大数据仓库中，包括：若所述中转数据对应的回收方式为流水式回收，则根据回收时间戳对所述中转数据进行打标，将打标后的中转数据存储至大数据仓库中；若所述中转数据对应的回收方式为增量式回收，则将当前回收的所述中转数据与大数据仓库中历史回收的中转数据进行整合后存储至大数据仓库中；若所述中转数据对应的回收方式为全量式回收，则将所述中转数据直接存储至大数据仓库中。6.根据权利要求1所述的方法，其特征在于，所述基于目的数据库与对应的源数据库之间的推送规则，根据所述大数据仓库中所述源数据库的中转数据获取所述目的数据库的目2CN113918639A权利要求书2/2页标中转数据，包括：基于目的数据库与对应的源数据库之间的推送规则，对所述大数据仓库中所述源数据库的第一中转数据进行加工生成第一目标中转数据；和/或，基于目的数据库与对应的源数据库之间的推送规则，从所述大数据仓库中所述源数据库的第二中转数据中提取出第二目标中转数据。7.根据权利要求4所述的方法，其特征在于，所述将所述字段取值及所述字段打包为第一文件流时将所述字段取值转换为第一数据类型的中间字段取值，将打包好的第一文件流传输至大数据仓库，包括：将所述字段取值及所述字段打包为第一文件流时将所述字段取值转换为第一数据类型的中间字段取值，通过指定的数据分隔符对相邻的字段和相邻的中间字段取值分别进行分隔，将