数据同步方法、装置、系统及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113656503A(43)申请公布日2021.11.16(21)申请号202110962016.0(22)申请日2021.08.20(71)申请人北京健康之家科技有限公司地址100102北京市朝阳区利泽中二路2号C座二层201(72)发明人张远银高海钊王伟金国宾(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人董艳芳(51)Int.Cl.G06F16/27(2019.01)G06F16/25(2019.01)G06F16/28(2019.01)权利要求书2页说明书9页附图3页(54)发明名称数据同步方法、装置、系统及计算机可读存储介质(57)摘要本发明提供了一种数据同步方法、装置、系统及计算机可读存储介质，涉及大数据和互联网技术领域，在进行数据同步时，先根据与源存储组件对应的接入配置信息，将源存储组件中每个服务实例对应的源数据实时写入分布式日志系统Kafka的对应主题中；当监听到存在待处理的同步任务时，获取同步任务的配置数据，该配置数据包括源存储组件、Kafka的目标主题和目的存储组件的地址信息；进而根据该配置数据，执行同步任务。本发明支持多服务实例接入，可以满足多种存储组件间的数据同步需求，实现了数据同步的实时性，从而能够保证业务进度，且与传统数据同步方案相比，单次导入的数据量大大减少，因此提高了目的存储组件的性能。CN113656503ACN113656503A权利要求书1/2页1.一种数据同步方法，其特征在于，包括：根据与源存储组件对应的接入配置信息，将所述源存储组件中每个服务实例对应的源数据实时写入分布式日志系统Kafka的对应主题中；当监听到存在待处理的同步任务时，获取所述同步任务的配置数据，所述配置数据包括所述源存储组件、所述Kafka的目标主题和目的存储组件的地址信息；根据所述配置数据，执行所述同步任务。2.根据权利要求1所述的方法，其特征在于，所述源存储组件包括关系型数据库管理系统MySQL，所述接入配置信息包括库表的白名单配置信息和主题映射关系配置信息；所述根据与源存储组件对应的接入配置信息，将所述源存储组件中每个服务实例对应的源数据实时写入分布式日志系统Kafka的对应主题中，包括：通过开源中间件Canal将所述MySQL的每个服务实例伪装成一个从库节点，实时获取每个所述服务实例对应的二进制日志binlog数据；对每个所述服务实例对应的binlog数据进行数据格式转换，得到每个所述服务实例对应的预定数据格式的源数据；根据所述库表的白名单配置信息和所述主题映射关系配置信息，将每个所述服务实例对应的源数据写入所述Kafka的对应主题中。3.根据权利要求1所述的方法，其特征在于，所述当监听到存在待处理的同步任务时，获取所述同步任务的配置数据，包括：当监听到ZooKeeper创建节点时，确定存在待处理的同步任务；所述ZooKeeper用于在存入新的同步任务的配置数据时进行节点创建；从所述ZooKeeper中获取所述同步任务的配置数据。4.根据权利要求1所述的方法，其特征在于，所述根据所述配置数据，执行所述同步任务，包括：根据所述配置数据，启动与所述同步任务对应的消费者线程；所述消费者线程用于从所述Kafka的目标主题中拉取来自所述源存储组件的目标源数据，并将拉取的所述目标源数据实时同步至所述目的存储组件中。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：当监测到所述消费者线程在运行过程中出现异常中止时，将未处理成功的数据发送至所述Kafka的临时主题中；当所述消费者线程重新启动时，从所述Kafka的临时主题中重新消费所述未处理成功的数据。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：实时对所述消费者线程的输出日志进行监控；当监控到所述输出日志存在异常时，将所述输出日志中的异常日志条数和异常日志内容发送至预设的终端设备。7.根据权利要求4所述的方法，其特征在于，所述方法还包括：定时对预设时长范围内同步完成的数据进行一致性校验，得到校验结果，所述校验结果包括不一致数据和不一致原因；将所述校验结果输出至指定文件中，以进行数据修复。2CN113656503A权利要求书2/2页8.一种数据同步装置，其特征在于，包括：写入模块，用于根据与源存储组件对应的接入配置信息，将所述源存储组件中每个服务实例对应的源数据实时写入分布式日志系统Kafka的对应主题中；获取模块，用于当监听到存在待处理的同步任务时，获取所述同步任务的配置数据，所述配置数据包括所述源存储组件、所述Kafka的目标主题和目的存储组件的地址信息；同步模块，用于根据所述配置数据，执行所述同步任务。9.一种数据同步系统，其特征在于，包括源存储