数据传输方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114328436A(43)申请公布日2022.04.12(21)申请号202111634715.9(22)申请日2021.12.29(71)申请人中国工商银行股份有限公司地址100140北京市西城区复兴门内大街55号(72)发明人顾言午诸文东陈宇婷李泽云(74)专利代理机构华进联合专利商标代理有限公司44224代理人杨欢(51)Int.Cl.G06F16/182(2019.01)G06F16/174(2019.01)G06F16/16(2019.01)H04L67/06(2022.01)权利要求书2页说明书13页附图5页(54)发明名称数据传输方法和系统(57)摘要本申请涉及大数据处理技术领域，特别是涉及一种数据传输方法和系统。方法包括：数据处理服务器集群获取第三方系统的原始文件，并对原始文件进行压缩处理得到多个压缩文件，将多个压缩文件传输至分布式文件系统；数据库服务器获取多个压缩文件对应的压缩文件信息表，以及数据接收服务器集群的集群信息表；数据库服务器根据压缩文件信息表，将与各个压缩文件对应的导入任务分配至数据接收服务器集群中的各目标数据接收服务器，并更新压缩文件信息表；各目标数据接收服务器根据压缩文件信息表从分布式文件系统或数据处理服务器集群中获取压缩文件，将压缩文件对应的目标文件传输至数据库服务器，以实现数据传输。采用本方法能够提高数据传输的效率。CN114328436ACN114328436A权利要求书1/2页1.一种数据传输方法，其特征在于，所述方法包括：数据处理服务器集群获取第三方系统的原始文件，并对所述原始文件进行处理压缩得到多个压缩文件，并将所述多个压缩文件传输至分布式文件系统；数据库服务器获取多个所述压缩文件对应的压缩文件信息表，以及数据接收服务器集群的集群信息表；所述数据库服务器根据所述压缩文件信息表，将与各个压缩文件对应的导入任务分配至所述数据接收服务器集群中的各目标数据接收服务器，并基于每个目标数据接收服务器所分配的导入任务更新所述压缩文件信息表；所述数据接收服务器集群中的目标数据接收服务器获取更新后的压缩文件信息表，并根据更新后的压缩文件信息表获取各自所对应的待处理的压缩文件信息；所述数据接收服务器集群中的目标数据接收服务器基于所述待处理的压缩文件信息，从所述分布式文件系统或所述数据处理服务器集群中获取压缩文件，并对获取的压缩文件进行解压后传输至所述数据库服务器中，以实现数据传输。2.根据权利要求1所述的方法，其特征在于，所述数据处理服务器集群获取第三方系统的原始文件，并对所述原始文件进行处理压缩得到多个压缩文件，包括：数据处理服务器集群通过第三方接口，读取第三方系统中的原始文件；将具有不同文件格式的多个原始文件分别转换成预设标准格式的目标文件；对多个所述目标文件进行压缩得到多个压缩文件。3.根据权利要求2所述的方法，其特征在于，所述将具有不同文件格式的多个原始文件分别转换成预设标准格式的目标文件，包括：通过公共接口读取每个原始文件的文件内容；将具有相同文件格式的原始文件的文件内容，写入同一个新的具有预设标准格式的文件中，得到对应的目标文件。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述数据处理服务器集群中的部分数据处理服务器出现故障时，所述数据处理服务器集群中断出现故障的数据处理服务器中的压缩处理操作，并将出现故障的数据处理服务器停机下线；所述数据处理服务器集群确定其他正常的数据处理服务器，通过正常的数据处理服务器重新执行所述出现故障的数据处理服务器中中断的压缩处理操作。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述数据接收服务器集群中的部分数据接收服务器出现故障时，所述数据接收服务器集群中断出现故障的数据接收服务器中的导入任务，并将出现故障的数据接收服务器停机下线；所述数据接收服务器集群确定其他正常的数据接收服务器，通过正常的数据接收服务器重新执行所述出现故障的数据接收服务器中中断的导入任务。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述数据接收服务器集群中的每个数据接收服务器进行启动，加载自身运行所需的组件；每个所述数据接收服务器均启动注册组件，在数据接收服务器集群的集群信息表中添2CN114328436A权利要求书2/2页加当前服务器的服务器地址。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：若所述数据处理服务器集群满足第一扩容条件，则在所述数据处理服务器集群中增加新的数据处理服务器，并将所述新的数据处理服务器与所述数据库服务器进行连接，以实现横向扩容；若所述数据处理服务器集群满足第一缩容条件，则将所述数据处理服务器集群中处于闲置状态的数据