数据处理方法、装置、电子设备、系统和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113886485A(43)申请公布日2022.01.04(21)申请号202011582222.0(22)申请日2020.12.28(71)申请人京东科技控股股份有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号C座2层221室(72)发明人高帅(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06F16/27(2019.01)G06F16/2457(2019.01)G06F16/22(2019.01)权利要求书2页说明书10页附图3页(54)发明名称数据处理方法、装置、电子设备、系统和存储介质(57)摘要本发明实施例公开了一种数据处理方法、装置、电子设备、系统和存储介质，该数据处理方法包括：从源服务器获取数据库中表的操作日志，解析该操作日志得到源操作信息，根据该表的配置信息将该源操作信息映射成目标操作信息，将目标操作信息写入目标服务器，以使得目标服务器根据该目标操作信息与源服务器进行实时数据同步，本发明实施例中，目标服务器与源服务器之间可以基于实时的操作日志进行数据同步，因而可以实现数据的实时同步，满足了对数据有实时查询需求的系统的要求。CN113886485ACN113886485A权利要求书1/2页1.一种数据处理方法，其特征在于，包括：从源服务器获取数据库中表的操作日志，解析所述操作日志得到源操作信息；根据所述表的配置信息将所述源操作信息映射成目标操作信息；将所述目标操作信息写入目标服务器，以使得所述目标服务器根据所述目标操作信息与所述源服务器进行实时数据同步。2.根据权利要求1所述的数据处理方法，其特征在于，所述从源服务器获取数据库中表的操作日志，包括：将所述源服务器作为主节点，模拟成所述源服务器的从节点向所述源服务器发送日志获取请求；接收所述源服务器返回的所述操作日志。3.根据权利要求1所述的数据处理方法，其特征在于，在根据所述表的配置信息将所述源操作信息映射成目标操作信息之前，还包括：确定所述源操作信息的类型；当所述源操作信息的类型为数据操作语言DML类型时，执行根据所述表的配置信息将所述源操作信息映射成目标操作信息的步骤。4.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述表的配置信息将所述源操作信息映射成目标操作信息，包括：从配置服务器获取Json格式的所述表的配置信息，并将所述表的配置信息从所述Json格式转换成JavaBean格式；根据所述JavaBean格式的所述表的配置信息将所述源操作信息映射成所述目标操作信息。5.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：生成定时同步数据；将所述定时同步数据写入所述目标服务器，以使得所述目标服务器根据所述定时同步数据与所述源服务器进行定时数据同步。6.根据权利要求5所述的数据处理方法，其特征在于，所述生成定时同步数据，包括：在预设时刻将所述源服务器中存储的数据和所述目标服务器中存储的数据进行对比，得到差异数据；根据所述差异数据生成所述定时同步数据。7.根据权利要求1所述的数据处理方法，其特征在于，所述源服务器包括MySQL服务器，所述目标服务器包括ElasticSearch服务器。8.一种数据处理装置，其特征在于，包括：获取模块，用于从源服务器获取数据库中表的操作日志，解析所述操作日志得到源操作信息；映射模块，用于根据所述表的配置信息将所述源操作信息映射成目标操作信息；同步模块，用于将所述目标操作信息写入目标服务器，以使得所述目标服务器根据所述目标操作信息与所述源服务器进行实时数据同步。9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至2CN113886485A权利要求书2/2页7中任一所述的数据处理方法。10.一种数据处理系统，其特征在于，包括源服务器、目标服务器以及用于执行如权利要求1至7中任一所述的数据处理方法的电子设备。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一所述的数据处理方法。3CN113886485A说明书1/10页数据处理方法、装置、电子设备、系统和存储介质技术领域[0001]本发明涉及数据同步技术，尤其涉及一种数据处理方法、装置、电子设备、系统和存储介质。背景技术[0002]传统的数据同步方法，通常是在用户请求量少的时间段(比如凌晨)来对前一天的数据进行同步，在实现本发明的过程中，发明人发现，这种数据同步方法同步的数据不具备实时性，无法满足对数据有实时查询需求的系统的要求。发明内容[0003]本发明实施例提供