数据库日志的处理方法、装置以及电子设备、存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112632017A(43)申请公布日2021.04.09(21)申请号202011222718.7(22)申请日2020.11.05(71)申请人北京乐学帮网络技术有限公司地址100094北京市海淀区西北旺东路10号院东区7号楼1层W105(72)发明人朱展黄国平朱道坤(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人孙立波(51)Int.Cl.G06F16/18(2019.01)G06F16/21(2019.01)权利要求书2页说明书10页附图3页(54)发明名称数据库日志的处理方法、装置以及电子设备、存储介质(57)摘要本发明公开了一种数据库日志的处理方法、装置以及电子设备、存储介质。其中，数据库日志的处理方法包括：获取各数据库中每个数据库的binlog日志；根据预设的转换协议对每个binlog日志中的日志事件进行序列化转换，得到对应于每个binlog日志的目标格式数据；将每个binlog日志的目标格式数据写入预设的数据模型，以便通过数据模型实现对各数据库的统一监听。该处理方法，可以实现将不同的数据库中的日志事件同步到统一消息队列，从而实现当多种数据库同时存在时对其进行统一的监听。CN112632017ACN112632017A权利要求书1/2页1.一种数据库日志的处理方法，其特征在于，包括：获取各数据库中每个数据库的binlog日志；根据预设的转换协议对每个所述binlog日志中的日志事件进行序列化转换，得到对应于每个所述binlog日志的目标格式数据；将每个所述binlog日志的目标格式数据写入预设的数据模型，以便通过所述数据模型实现对各数据库的统一监听。2.根据权利要求1所述的数据库日志的处理方法，其特征在于，获取各数据库中每个数据库的binlog日志，包括：同步各数据库中每个数据库的binlog日志。3.根据权利要求1所述的数据库日志的处理方法，其特征在于，根据预设的转换协议对每个所述binlog日志中的日志事件进行序列化转换，包括：根据Protobuf格式转换协议、Thrift格式转换协议或Kyro格式转换协议中的至少一种，将每个所述binlog日志中的日志事件进行序列化转换。4.根据权利要求1‑3任一项所述的数据库日志的处理方法，其特征在于，所述数据模型包括多个数据对象，其中，将每个所述binlog日志的目标格式数据写入预设的数据模型，包括：获取每个所述binlog日志的目标格式数据与所述数据模型的各数据对象之间的对应关系；根据所述对应关系，将每个所述binlog日志的目标格式数据写入所述数据模型中对应的数据对象。5.根据权利要求1所述的数据库日志的处理方法，其特征在于，所述数据模型为根据各数据库的概念抽象得到，所述概念至少包括事务处理、新增、删除、修改和查询操作。6.根据权利要求1所述的数据库日志的处理方法，其特征在于，在将每个所述binlog日志的目标格式数据写入预设的数据模型之后，还包括：将所述数据模型分发给业务处理方。7.根据权利要求1所述的数据库日志的处理方法，其特征在于，在将每个所述binlog日志的目标格式数据写入预设的数据模型之前，还包括：将每个所述binlog日志的目标格式数据写入消息队列；所述将每个所述binlog日志的目标格式数据写入预设的数据模型，包括：从所述消息队列中异步获取每个所述binlog日志的目标格式数据对应的消息；将从所述消息队列中获取的消息写入所述数据模型。8.一种数据库日志的处理装置，其特征在于，包括：获取模块，用于获取各数据库中每个数据库的binlog日志；序列化转换模块，用于根据预设的转换协议对每个所述binlog日志中的日志事件进行序列化转换，得到对应于每个所述binlog日志的目标格式数据；对象生成模块，用于将每个所述binlog日志的目标格式数据写入预设的数据模型，以便通过所述数据模型实现对各数据库的统一监听。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现根据权利要求1至7任一所述的数据库日志的处理方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机2CN112632017A权利要求书2/2页程序被处理器执行时实现根据权利要求1至7任一所述的数据库日志的处理方法。3CN112632017A说明书1/10页数据库日志的处理方法、装置以及电子设备、存储介质技术领域[0001]本发明涉及计算机网络技术领域，尤其涉及一种数据库日志的处理方法、装置以及电子设备、存储介质。背景技术[0002]相关技术中，不同业务数据可能存储于不同类型的数据库，比如Mysq