数据同步方法、装置、设备及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114297300A(43)申请公布日2022.04.08(21)申请号202111636057.7(22)申请日2021.12.29(71)申请人北京人大金仓信息技术股份有限公司地址100102北京市朝阳区容达路7号院5号楼1至3层101内二层201(72)发明人王凯龙(74)专利代理机构北京开阳星知识产权代理有限公司11710代理人郭鑫(51)Int.Cl.G06F16/27(2019.01)G06F16/23(2019.01)权利要求书2页说明书14页附图4页(54)发明名称数据同步方法、装置、设备及计算机可读存储介质(57)摘要本公开涉及一种数据同步方法、装置、设备及计算机可读存储介质，通过源端同步设备获取源数据库的增量数据和对应的操作类型，源端同步设备基于增量数据，编码生成操作类型对应的结构化操作语句，源端同步设备将结构化操作语句发送给目的端同步设备，以使目的端同步设备基于结构化操作语句进行数据同步。由于在生成操作类型对应的结构化操作语句时，对数据进行了特殊的编码，对于重复的操作类型、模式、表和表的列信息，都只记录了一次，有效减少数据同步时传输的数据量，提高了数据传输效率。并且目的端同步设备调用批处理接口进行数据同步，提高了数据同步效率，进一步提高了数据同步性能。CN114297300ACN114297300A权利要求书1/2页1.一种数据同步方法，其特征在于，包括：源端同步设备获取源数据库的增量数据和对应的操作类型；源端同步设备基于所述增量数据，编码生成所述操作类型对应的结构化操作语句；源端同步设备将所述结构化操作语句发送给目的端同步设备，以使所述目的端同步设备基于所述结构化操作语句进行数据同步。2.根据权利要求1所述的方法，其特征在于，所述结构化操作语句中包括多个配置项：模式信息项、数据表信息项、操作类型配置项、元信息项和元信息对应的一组或多组行数据项；其中，所述元信息项包括一个或多个列信息。3.根据权利要求2所述的方法，其特征在于，所述源端同步设备基于所述增量数据，编码生成所述操作类型对应的结构化操作语句包括：源端同步设备基于所述增量数据，确定所述增量数据所属的目标数据表和目标模式；源端同步设备基于所述增量数据，确定所述增量数据在所述目标数据表中涉及的一个或多个目标列信息；源端同步设备基于所述一个或多个目标列信息，确定目标元信息；源端同步设备基于所述目标元信息和所述增量数据，确定一组或多组目标行数据；源端同步设备基于所述目标数据表、所述目标模式、所述目标元信息、一组或多组目标行数据，编码生成所述操作类型对应的结构化操作语句。4.根据权利要求1所述的方法，其特征在于，在编码生成所述操作类型对应的结构化操作语句后，所述方法还包括：源端同步设备将所述结构化操作语句进行编码，得到编码文件；相应地，源端同步设备将所述编码文件发送给目的端同步设备，以使所述目的端同步设备解析所述编码文件得到所述结构化操作语句，并基于所述结构化操作语句进行数据同步。5.一种数据同步方法，其特征在于，包括：目的端同步设备接收源端同步设备发送的操作类型对应的结构化操作语句；其中，所述结构化操作语句为源端同步设备基于增量数据，编码生成的结构化操作语句；目的端同步设备基于所述结构化操作语句进行数据同步。6.根据权利要求5所述的方法，其特征在于，所述目的端同步设备基于所述结构化操作语句进行数据同步包括：目的端同步设备解析所述结构化操作语句，得到所述结构化操作语句中的目标模式、目标数据表、操作类型、目标元信息、一组或多组目标行数据；目的端同步设备针对每组目标行数据，调用增加批处理接口，以便将每组目标行数据增加到批处理任务；目的端同步设备基于所述目标模式、所述目标数据表和所述操作类型调用执行批处理接口，以便基于所述操作类型执行所述批处理任务，完成数据同步。7.一种数据同步装置，其特征在于，包括：获取单元，用于获取源数据库的增量数据和对应的操作类型；编码单元，用于基于所述增量数据，编码生成所述操作类型对应的结构化操作语句；发送单元，用于将所述结构化操作语句发送给目的端同步设备，以使所述目的端同步2CN114297300A权利要求书2/2页设备基于所述结构化操作语句进行数据同步。8.一种数据同步装置，其特征在于，包括：接收单元，用于接收源端同步设备发送的操作类型对应的结构化操作语句；其中，所述结构化操作语句为源端同步设备基于增量数据，编码生成的结构化操作语句；同步单元，用于基于所述结构化操作语句进行数据同步。9.一种电子设备，其特征在于，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1‑4中任一所述的方法或执行