一种基于主从同步的数据流状态监控告警系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113836160A(43)申请公布日2021.12.24(21)申请号202111146416.0(22)申请日2021.09.28(71)申请人上海市大数据股份有限公司地址200331上海市普陀区武威路88弄2号498室(72)发明人程栋谭锐杜泽仁王超男(74)专利代理机构上海申新律师事务所31272代理人党蕾(51)Int.Cl.G06F16/23(2019.01)G06F16/22(2019.01)G06F16/27(2019.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于主从同步的数据流状态监控告警系统(57)摘要本发明公开了一种基于主从同步的数据流状态监控告警系统，属于数据治理领域，系统连接至少一个数据源和至少一个用户端；包括：归集数据库包括多个目标数据库，分别用于存储数据源的日志数据；目标数据监控表包括各数据源对应的监控信息；服务端包括：客户端，用于采用主从同步的方式读取日志数据并写入消息队列，消费模块，用于当消息队列发生变更时，更新目标数据监控表；告警模块，用于判断是否更新异常，于更新异常时输出推送信息；发送端，用于将推送信息发送至用户端。本发明的有益效果在于：通过主从同步获取数据，不会影响目标数据库的性能；可对接多个数据源；实时监控数据流的状态，减少数据治理过程的处理工作量。CN113836160ACN113836160A权利要求书1/2页1.一种基于主从同步的数据流状态监控告警系统，其特征在于，所述系统连接至少一个数据源和至少一个用户端；所述系统具体包括：一归集数据库，所述归集数据库包括多个目标数据库，每一所述目标数据库分别用于存储一所述数据源的日志数据；一目标数据监控表，所述目标数据监控表包括需要监控的各所述数据源对应的监控信息；一服务端，分别连接所述归集数据库和所述目标数据监控表，所述服务端包括：一客户端，用于采用主从同步的方式从所述目标数据库中读取日志数据，并将所述日志数据写入一消息队列中，一消费模块，连接所述客户端，用于实时监控所述客户端，当所述消息队列中的消息内容发生变更时，根据所述消息内容更新所述目标数据监控表的所述监控信息；一告警模块，连接所述消费模块，用于轮询所述目标数据监控表，根据更新后的所述目标数据监控表判断各所述数据源是否更新异常，并于更新异常时输出一推送信息；一发送端，连接所述服务端，用于接收所述推送信息，并将所述推送信息发送至所述数据源对应的所述用户端。2.根据权利要求1所述的一种基于主从同步的数据流状态监控告警系统，其特征在于，所述监控信息包括数据源ID和/或数据流名称和/或目标数据库所在地址和/或数据库名称和/或数据库表和/或更新间隔和/或最后处理时间和/或告警对象。3.根据权利要求1所述的一种基于主从同步的数据流状态监控告警系统，其特征在于，所述消息队列中的消息内容包括数据库名称和/或数据库表和/或当前时间戳和/处理类型。4.根据权利要求1所述的一种基于主从同步的数据流状态监控告警系统，其特征在于，所述消息队列的主题为所述目标数据库对应的数据库地址。5.根据权利要求3所述的一种基于主从同步的数据流状态监控告警系统，其特征在于，所述消费模块包括：一第一判断单元，用于判断所述消息内容的处理类型；一更新单元，连接所述第一判断单元，用于当所述处理类型为插入操作或更新操作时，将所述目标数据监控表中对应所述数据源的最后处理时间更新为所述当前时间戳。6.根据权利要求5所述的一种基于主从同步的数据流状态监控告警系统，其特征在于，所述告警模块包括：一计算单元，用于计算所述当前时间戳和上一次处理时间的时间差；一第二判断单元，连接所述计算单元，用于当所述时间差超过所述数据源的更新间隔的预设倍数时，所述数据源的更新异常。7.根据权利要求1所述的一种基于主从同步的数据流状态监控告警系统，其特征在于，还包括：一创建模块，用于供所述数据源在所述归集数据库中创建一同步账号；一权限配置模块，连接所述创建模块，用于为每一新创建的所述数据源的同步账号授予相应的所述目标数据库使用权限。2CN113836160A权利要求书2/2页8.根据权利要求1所述的一种基于主从同步的数据流状态监控告警系统，其特征在于，还包括：一告警管理模块，连接所述告警模块，用于管理所述目标数据监控表，以及所述目标数据监控表中的每一所述数据源对应的告警媒介、需监控项；所述告警媒介包括用户端推送和/或短信推送。9.根据权利要求1所述的一种基于主从同步的数据流状态监控告警系统，其特征在于，所述客户端包括：一报表生成模块，用于按照一预设周期获取所述数据源的日志数据生成一报表，并将所述报表写入对应所述数据源的所述消息队列中；所述发送端根据所述消息队列的状态，将