基于多系统的数据处理方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113641740A(43)申请公布日2021.11.12(21)申请号202110874925.9(22)申请日2021.07.30(71)申请人中国平安人寿保险股份有限公司地址518000广东省深圳市福田区福田街道益田路5033号平安金融中心14、15、16、37、41、44、45、46、54、58、59层(72)发明人陈战仁肖群华(74)专利代理机构深圳市明日今典知识产权代理事务所(普通合伙)44343代理人王杰辉曹勇(51)Int.Cl.G06F16/25(2019.01)G06F9/50(2006.01)G06F9/54(2006.01)权利要求书3页说明书17页附图3页(54)发明名称基于多系统的数据处理方法、装置、设备和存储介质(57)摘要本申请涉及数据处理领域，提供一种基于多系统的数据处理方法、装置、设备和存储介质，方法包括：获取与目标业务对应的所有关联系统的系统信息；基于所有系统信息，获取各关联系统的系统对接方式；判断当前时间是否处于预设的闲暇时间段内；若是，对于每一个关联系统，基于与该关联系统的系统对接方式对应的数据处理规则，将该关联系统中与目标业务对应的业务数据写入预设的数据转换层；对数据转换层中包含的所有业务数据进行同构化转换处理得到处理后的业务数据；从数据转换层中提取处理后的业务数据并存储。本申请能够实现对于目标业务的业务数据的实时采集与汇总。本申请还可以应用于区块链领域，上述处理后的业务数据可以存储于区块链上。CN113641740ACN113641740A权利要求书1/3页1.一种基于多系统的数据处理方法，其特征在于，包括：获取与目标业务对应的所有关联系统的系统信息；基于所有所述系统信息，获取与各所述关联系统分别对应的系统对接方式；获取当前时间，并判断所述当前时间是否处于预设的闲暇时间段内；若是，对于每一个所述关联系统，基于与每一个所述关联系统的系统对接方式对应的数据处理规则，将每一个所述关联系统中与所述目标业务对应的业务数据写入至预设的数据转换层；基于预设的数据转换线程与数据转换规则，对所述数据转换层中包含的所有业务数据进行同构化转换处理，得到处理后的业务数据；从所述数据转换层中提取出所述处理后的业务数据，并存储所述处理后的业务数据。2.根据权利要求1所述的基于多系统的数据处理方法，其特征在于，所述对于每一个所述关联系统，基于与每一个所述关联系统的系统对接方式对应的数据处理规则，将每一个所述关联系统中与所述目标业务对应的业务数据写入至预设的数据转换层的步骤，包括：获取指定关联系统的系统对接方式；其中，所述指定关联系统为所有所述关联系统中的任意一个系统，将所述指定关联系统的系统对接方式标记为指定关联系统对接方式；若所述指定关联系统对接方式为KAFKA对接方式，按照第一预设规则将所述指定关联系统中与所述目标业务对应的业务数据拉取至所述数据转换层；若所述指定关联系统对接方式为Goldengate对接方式，调用预设的Goldengate工具将所述指定关联系统中与所述目标业务对应的业务数据同步至所述数据转换层；若所述指定关联系统对接方式为ActiveMQ对接方式，按照第二预设规则将所述指定关联系统中与所述目标业务对应的业务数据拉取至所述数据转换层；若所述指定关联系统对接方式为预设的第一接口对接方式，调用预设的Http接口将所述指定关联系统中与所述目标业务对应的业务数据写入至所述数据转换层；若所述指定关联系统对接方式为预设的第二接口对接方式，通过JDBC连接所述指定关联系统，并将所述指定关联系统中与所述目标业务对应的业务数据同步至所述数据转换层。3.根据权利要求2所述的基于多系统的数据处理方法，其特征在于，所述按照第一预设规则将所述指定关联系统中与所述目标业务对应的业务数据拉取至所述数据转换层的步骤，包括：判断所述指定关联系统是否已使用KAFKA作为消息中间件；若已使用KAFKA作为消息中间件，向所述指定关联系统发出申请与所述目标业务对应的第一TOPIC的消费权限的第一请求；判断所述指定关联系统是否成功处理所述第一请求；若已成功处理所述第一请求，基于所述消费权限将所述第一TOPIC中包含的与所述目标业务对应的业务数据拉取至所述数据转换层。4.根据权利要求2所述的基于多系统的数据处理方法，其特征在于，所述按照第二预设规则将所述指定关联系统中与所述目标业务对应的业务数据拉取至所述数据转换层的步骤，包括：向所述指定关联系统发出申请与所述目标业务对应的第二TOPIC的订阅权限的第二请2CN113641740A权利要求书2/3页求；判断所述指定关联系统是否成功处理所述第二请求；若是，在所述指定关联系统将包含的与所述目标业务对应的业务数据的广