一种数据在线分析系统、方法、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114297211A(43)申请公布日2022.04.08(21)申请号202111629940.3(22)申请日2021.12.28(71)申请人众安信息技术服务有限公司地址518000广东省深圳市前海深港合作区前湾一路1号A栋201室(72)发明人蒋凯悦刘亚强(74)专利代理机构北京品源专利代理有限公司11332代理人倪焱(51)Int.Cl.G06F16/23(2019.01)G06F16/2458(2019.01)G06F16/27(2019.01)G06F16/28(2019.01)权利要求书2页说明书8页附图3页(54)发明名称一种数据在线分析系统、方法、设备及存储介质(57)摘要本发明公开了一种数据在线分析系统、方法、设备及存储介质。该系统包括：信息采集单元、数据同步单元和在线分析处理引擎；信息采集单元，用于采集数据库的目标变更信息，将目标变更信息同步至数据同步单元；数据同步单元，用于根据目标变更信息对在线分析处理引擎中存储的数据库同步数据进行更新；在线分析处理引擎，用于通过在线分析接口接收数据库查询语句，根据数据库查询语句对在线分析处理引擎中存储的更新后的数据库同步数据执行相应的分析操作。通过本发明的技术方案，能够数据库的变更数据实时同步到在线分析处理引擎，通过在线分析处理引擎上的查询语句操作进行实时多维分析，满足日趋复杂的业务查询需求。CN114297211ACN114297211A权利要求书1/2页1.一种数据在线分析系统，其特征在于，包括：信息采集单元、数据同步单元和在线分析处理引擎；所述信息采集单元，用于采集数据库的目标变更信息，将所述目标变更信息同步至所述数据同步单元；所述数据同步单元，用于根据所述目标变更信息对所述在线分析处理引擎中存储的数据库同步数据进行更新；所述在线分析处理引擎，用于通过在线分析接口接收数据库查询语句，根据所述数据库查询语句对所述在线分析处理引擎中存储的更新后的数据库同步数据执行相应的分析操作。2.根据权利要求1所述的系统，其特征在于，还包括：采集信息缓存单元，所述采集信息缓存单元用于存储第一读取位置，所述第一读取位置为从所述数据库中读取所述目标变更信息对应的日志信息的位置。3.根据权利要求2所述的系统，其特征在于，所述采集信息缓存单元还用于所述信息采集单元通过数据队列将所述目标变更信息同步至所述数据同步单元时存储第二读取位置，所述第二读取位置为从所述数据队列中读取所述目标变更信息的位置。4.根据权利要求2所述的系统，其特征在于，还包括：同步任务监控单元，所述同步任务监控单元用于计算所述数据库、所述采集信息缓存单元和所述在线分析处理引擎中任意两者之间的数据延迟，若所述数据延迟大于预设阈值，则进行提示。5.一种数据在线分析方法，其特征在于，应用于权利要求1所述的系统，所述方法包括：通过信息采集单元采集数据库的目标变更信息，将所述目标变更信息同步至数据同步单元；通过所述数据同步单元根据所述目标变更信息对在线分析处理引擎中存储的数据库同步数据进行更新；通过在线分析处理引擎的在线分析接口接收数据库查询语句，根据所述数据库查询语句对所述在线分析处理引擎中存储的更新后的数据库同步数据执行相应的分析操作。6.根据权利要求5所述的方法，其特征在于，通过信息采集单元采集数据库的目标变更信息，包括：实时采集数据库的日志信息，所述日志信息包括所述数据库中的数据变更信息；获取目标变更信息的属性信息，基于所述属性信息从所述日志信息中提取目标变更信息。7.根据权利要求5所述的方法，其特征在于，将所述目标变更信息同步至数据同步单元，包括：通过数据队列将所述目标变更信息同步至所述数据同步单元。8.根据权利要求7所述的方法，其特征在于，在将所述目标变更信息同步至数据同步单元之后，还包括：对采集信息缓存单元中的第一读取位置进行更新，所述第一读取位置为从所述数据库中读取所述目标变更信息对应的日志信息的位置；对采集信息缓存单元中的第二读取位置进行更新，所述第二读取位置为从所述数据队列中读取所述目标变更信息的位置。2CN114297211A权利要求书2/2页9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求5‑8中任一所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求5‑8中任一所述的方法。3CN114297211A说明书1/8页一种数据在线分析系统、方法、设备及存储介质技术领域[0001]本发明实施例涉及数据库技术领域，尤其涉及一种数据在线分析系统、方法、设备及存储介质。背景技术[0002]随着商业