数据处理方法、装置、电子设备、系统和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760570A(43)申请公布日2021.12.07(21)申请号202110018238.7(22)申请日2021.01.07(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人李豆豆(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06F9/54(2006.01)G06F9/50(2006.01)权利要求书2页说明书10页附图3页(54)发明名称数据处理方法、装置、电子设备、系统和存储介质(57)摘要本发明实施例公开了一种数据处理方法、装置、电子设备、系统和存储介质，该数据处理方法包括：通过一级线程从源服务器获取源数据，并将源数据存入一级缓存；通过二级线程从一级缓存获取源数据，并对源数据进行反序列化处理得到目标数据，将目标数据存入二级缓存；通过三级线程从二级缓存获取目标数据，并将目标数据写入目标服务器。本发明实施例能够降低对技术人员的要求，降低运维成本。CN113760570ACN113760570A权利要求书1/2页1.一种数据处理方法，其特征在于，包括：通过一级线程从源服务器获取源数据，并将所述源数据存入一级缓存；通过二级线程从所述一级缓存获取所述源数据，并对所述源数据进行反序列化处理得到目标数据，将所述目标数据存入二级缓存；通过三级线程从所述二级缓存获取所述目标数据，并将所述目标数据写入目标服务器。2.根据权利要求1所述的数据处理方法，其特征在于，所述通过一级线程从源服务器获取源数据，包括：通过所述一级线程创建源客户端，利用所述源客户端从所述源服务器获取所述源数据；所述通过三级线程将所述目标数据写入目标服务器，包括：通过所述三级线程创建目标客户端，利用所述目标客户端将所述目标数据写入所述目标服务器。3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述源数据存入一级缓存，包括：根据所述一级缓存的数量对所述源数据进行哈希取模运算，得到第一模值，根据所述第一模值从所述一级缓存中确定出一级目标缓存，将所述源数据存入所述一级目标缓存；所述将所述目标数据存入二级缓存，包括：根据所述二级缓存的数量对所述目标数据进行哈希取模运算，得到第二模值，根据所述第二模值从所述二级缓存中确定出二级目标缓存，将所述目标数据存入所述二级目标缓存。4.根据权利要求1所述的数据处理方法，其特征在于，所述通过二级线程从所述一级缓存获取所述源数据，包括：根据一级对应关系确定所述二级线程对应的一级缓存，通过所述二级线程从所述二级线程对应的一级缓存获取所述源数据；所述通过三级线程从所述二级缓存获取所述目标数据，包括：根据二级对应关系确定所述三级线程对应的二级缓存，通过所述三级线程从所述三级线程对应的二级缓存获取所述目标数据。5.根据权利要求2所述的数据处理方法，其特征在于，所述方法还包括：通过所述一级线程创建所述源客户端的数据消费记录，并将所述数据消费记录通过所述二级线程发送给所述三级线程创建的所述目标客户端；所述利用所述目标客户端将所述目标数据写入所述目标服务器，包括：利用所述目标客户端按照所述数据消费记录将所述目标数据批量写入所述目标服务器。6.根据权利要求5所述的数据处理方法，其特征在于，所述方法还包括：通过四级线程向所述源服务器发送所述数据消费记录。7.根据权利要求1所述的数据处理方法，其特征在于，所述通过三级线程将所述目标数据写入所述目标服务器，包括：确定所述目标服务器支持的存储格式；通过所述三级线程将所述目标数据按照所述存储格式写入所述目标服务器。8.根据权利要求1所述的数据处理方法，其特征在于，所述源服务器包括Kafka服务器，所述目标服务器包括分布式文件系统HDFS服务器、HBase服务器、Clickhouse服务器、Hive2CN113760570A权利要求书2/2页服务器、Elasticsearch服务器中的任意一个。9.一种数据处理装置，其特征在于，包括：第一处理模块，用于通过一级线程从源服务器获取源数据，并将所述源数据存入一级缓存；第二处理模块，用于通过二级线程从所述一级缓存获取所述源数据，并对所述源数据进行反序列化处理得到目标数据，将所述目标数据存入二级缓存；第三处理模块，用于通过三级线程从所述二级缓存获取所述目标数据，并将所述目标数据写入目标服务器。10.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8中任一所述的数据处理方法。11.一种数据处理系统，包括源服务器、目标服务器以及用