缓存同步方法、装置、系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108920670A(43)申请公布日2018.11.30(21)申请号201810734710.5(22)申请日2018.07.06(71)申请人深圳市小牛在线互联网信息咨询有限公司地址518000广东省深圳市南山区南山街道高新园高新南一道富诚科技大厦四楼(72)发明人胡山泉刘清有张翼(74)专利代理机构深圳市精英专利事务所44242代理人林燕云(51)Int.Cl.G06F17/30(2006.01)权利要求书2页说明书7页附图4页(54)发明名称缓存同步方法、装置、系统及存储介质(57)摘要本发明实施例公开了一种缓存同步方法、装置、计算机设备及存储介质，其中方法包括：通过建立系统数据库的从属数据库；通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据；获取同步配置文件，所述同步配置文件包括同步配置信息；根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则；基于确定的预设同步规则将所述待同步数据同步至缓存数据库。该方法可确保系统数据库和缓存数据库的数据的一致性，同时还通过预设同步规则实现了同步数据结构的灵活定制。CN108920670ACN108920670A权利要求书1/2页1.一种缓存同步方法，其特征在于，包括：建立系统数据库的从属数据库；通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据；获取同步配置文件，所述同步配置文件包括同步配置信息；根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则；基于确定的预设同步规则将所述待同步数据同步至缓存数据库。2.根据权利要求1所述的缓存同步方法，其特征在于，所述建立系统数据库的从属数据库，包括：采用主从部署方式部署多个Canal主从节点形成Canal主从集群以建立所述系统数据库的从属数据库；以及在所述Canal主从集群中部署Kafka中间件集群。3.根据权利要求1所述的缓存同步方法，其特征在于，所述通过所述从属数据库获取所述系统数据库的数据变化信息，包括：通过所述从属数据库获取所述系统数据库的Binlog日志；解析所述Binlog日志以获取所述系统数据库的数据变化信息。4.根据权利要求1所述的缓存同步方法，其特征在于，所述根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则，包括：获取所述变更数据中的数据对应的数据名；判断所述数据名是否记录在所述述同步配置信息的数据表中；若所述数据名记录在所述述同步配置信息的数据表中，则判定所述数据名对应的数据为待同步数据；以及获取所述数据表所对应的预设同步规则并作为所述待同步数据对应的预设同步规则。5.根据权利要求1所述的缓存同步方法，其特征在于，所述预设同步规则包括：第一预设同步规则和第二预设同步规则；所述基于确定的预设同步规则将所述待同步数据同步至缓存数据库，包括：基于确定的第一预设同步规则将所述待同步数据同步至缓存数据库；或者基于确定的第二预设同步规则将所述待同步数据同步至缓存数据库。6.根据权利要求5所述的缓存同步方法，其特征在于，所述基于确定的第一预设同步规则将所述待同步数据同步至缓存数据库，包括：将所述所述待同步数据更新至缓存数据库。7.根据权利要求5所述的缓存同步方法，其特征在于，所述基于确定的第二预设同步规则将所述待同步数据同步至缓存数据库，包括：根据所述同步配置信息将所述待同步数据需要发送至预设主题的消息中间件以使所述消息中间件调用预设脚本对所述待同步数据进行格式转换；并将经过格式转换后的待同步数据同步至缓存数据库。8.一种缓存同步装置，其特征在于，包括：从属建立单元，用于建立系统数据库的从属数据库；信息获取单元，用于通过所述从属数据库获取所述系统数据库的数据变化信息，所述2CN108920670A权利要求书2/2页数据变化信息记录所述系统数据库的变更数据；文件获取单元，用于获取同步配置文件，所述同步配置文件包括同步配置信息；数据确定单元，用于根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则；数据缓存单元，用于基于确定的预设同步规则将所述待同步数据同步至缓存数据库。9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行如权利要求1至7任意一项所述方法的步骤。3CN10892