流式数据处理方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115062002A(43)申请公布日2022.09.16(21)申请号202210524751.8(22)申请日2022.05.13(71)申请人奇安信科技集团股份有限公司地址100088北京市西城区新街口外大街28号102号楼3层332号申请人奇安信网神信息技术（北京）股份有限公司(72)发明人刘进(74)专利代理机构北京路浩知识产权代理有限公司11002专利代理师孟省(51)Int.Cl.G06F16/215(2019.01)G06F16/2455(2019.01)G06F16/22(2019.01)权利要求书2页说明书8页附图3页(54)发明名称流式数据处理方法及装置(57)摘要本发明实施例提供一种流式数据处理方法及装置。其中，该方法包括：根据当前的目标日志确定对应的配置参数；响应于接收到用户选中的至少一个规则，根据至少一个规则和配置参数确定目标模型，目标模型的数据处理能力与目标日志匹配；根据目标模型，通过关联分析引擎对目标日志进行处理，得到并存储对应的流量分析结果；读取预设时间段的流量分析结果，通过布隆过滤器对预设时间段的流量分析结果进行全局判重和全局统计，得到全局流量分析结果，并将全局流量分析结果保存在数据库。实现了对实时的流式数据的判重、归并、计数、加白和分组。CN115062002ACN115062002A权利要求书1/2页1.一种流式数据处理方法，其特征在于，所述方法包括：根据当前的目标日志确定对应的配置参数；响应于接收到用户选中的至少一个规则，根据所述至少一个规则和所述配置参数确定目标模型，所述目标模型的数据处理能力与所述目标日志的大小匹配；根据所述目标模型，通过关联分析引擎对所述目标日志进行处理，得到并存储对应的流量分析结果；读取预设时间段的流量分析结果，通过布隆过滤器对所述预设时间段的流量分析结果进行全局判重和全局统计，得到全局流量分析结果，并将所述全局流量分析结果保存在数据库。2.根据权利要求1所述的流式数据处理方法，其特征在于，所述关联分析引擎包括Sabre引擎。3.根据权利要求1至2任一项所述的流式数据处理方法，其特征在于，所述配置参数包括以下至少一项：对应所述目标日志的流量大小、对应所述目标日志的黑名单、对应所述目标日志的存储地址、对应所述目标日志的目标字段和对应所述目标日志的归并字段。4.根据权利要求1至2任一项所述的流式数据处理方法，其特征在于，所述根据当前的目标日志确定对应的配置参数之前，还包括：预设至少一个初始规则，所述至少一个初始规则用于被用户选择。5.根据权利要求1至2任一项所述的流式数据处理方法，其特征在于，所述读取预设时间段的流量分析结果，通过布隆过滤器对所述预设时间段的流量分析结果进行全局判重和全局统计，得到全局流量分析结果，并将所述全局流量分析结果保存在数据库，包括：读取预设时间段的流量分析结果，通过布隆过滤器对所述预设时间段的流量分析结果进行全局判重和全局统计，得到全局流量分析结果；将所述全局流量分析结果换算为对应的二进制向量并保存在所述布隆过滤器中；将所述全局流量分析结果保存在数据库。6.根据权利要求5所述的流式数据处理方法，其特征在于，所述方法还包括：设置定时删除任务，根据所述定时删除任务清理所述数据库中的数据，以及将所述布隆过滤器中的对应所述数据的二进制向量置零。7.根据权利要求1所述的流式数据处理方法，其特征在于，所述根据所述目标模型，通过关联分析引擎对所述目标日志进行处理，包括：根据所述目标模型，通过关联分析引擎对所述目标日志进行判重、归并、计数、加白和分组。8.一种流式数据处理装置，其特征在于，所述方法包括：第一处理模块，用于根据当前的目标日志确定对应的配置参数；第二处理模块，用于响应于接收到用户选中的至少一个规则，根据所述至少一个规则和所述配置参数确定目标模型，所述目标模型的数据处理能力与所述目标日志的大小匹配；第三处理模块，用于根据所述目标模型，通过关联分析引擎对所述目标日志进行处理，得到并存储对应的流量分析结果；第四处理模块，用于读取预设时间段的流量分析结果，通过布隆过滤器对所述预设时2CN115062002A权利要求书2/2页间段的流量分析结果进行全局判重和全局统计，得到全局流量分析结果，并将所述全局流量分析结果保存在数据库。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的流式数据处理方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的流式数据处理方法的步骤。11.一种计算机程序产品，其上存储