多数据源数据的处理系统以及多数据源数据的处理方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113986902A(43)申请公布日2022.01.28(21)申请号202111269523.2(22)申请日2021.10.29(71)申请人上海观安信息技术股份有限公司地址200000上海市浦东新区泥城镇云端路1412弄15号二层1室(72)发明人戴泽乐王跃跃张明明胡绍勇(74)专利代理机构北京中强智尚知识产权代理有限公司11448代理人刘敏(51)Int.Cl.G06F16/215(2019.01)G06F16/2455(2019.01)G06F16/25(2019.01)G06F16/182(2019.01)权利要求书2页说明书8页附图3页(54)发明名称多数据源数据的处理系统以及多数据源数据的处理方法(57)摘要本申请公开了一种多数据源数据的处理系统以及多数据源数据的处理方法，涉及计算技术领域，可实现对多数据源数据的统一处理，降低数据维护成本。所述系统采用分时、分布式设计，所述系统包括：任务管理模块、采集引擎模块、数据处理模块；所述采集引擎模块，一端与所述任务管理模块连接，另一端与不同数据源会话连接，用于接收所述任务管理模块下发的数据采集指令，并响应于所述数据采集指令采集目标数据；所述数据处理模块，一端与所述任务管理模块连接，另一端与所述采集引擎模块连接，用于在所述采集引擎模块提取所述目标数据，在所述任务管理模块拉取与所述目标数据匹配的数据处理规则，并利用所述数据处理规则格式化处理所述目标数据。CN113986902ACN113986902A权利要求书1/2页1.一种多数据源数据的处理系统，其特征在于，所述系统采用分时、分布式设计，所述系统包括：任务管理模块、采集引擎模块、数据处理模块；所述采集引擎模块，一端与所述任务管理模块连接，另一端与不同数据源会话连接，用于接收所述任务管理模块下发的数据采集指令，并响应于所述数据采集指令采集目标数据；所述数据处理模块，一端与所述任务管理模块连接，另一端与所述采集引擎模块连接，用于在所述采集引擎模块提取所述目标数据，在所述任务管理模块拉取与所述目标数据匹配的数据处理规则，并利用所述数据处理规则格式化处理所述目标数据。2.根据权利要求1所述的系统，其特征在于，所述任务管理模块，包括：任务创建单元，通过客户端接口与用户客户端连接，用于接收任务创建请求，并基于所述任务创建请求中携带的任务需求信息确定数据源类型、解析规则模板以及存储模板，并根据所述数据源类型、所述解析规则模板以及所述存储模板生成新建任务；任务修改单元，通过客户端接口与用户客户端连接，用于接收任务修改请求，并基于所述任务修改请求中携带的任务标号确定目标任务，并修改与所述目标任务匹配的调度配置信息。3.根据权利要求1所述的系统，其特征在于，所述采集引擎模块，包括：主动数据采集单元，用于按照预设时间间隔主动采集目标数据；被动数据采集单元，与所述任务管理模块连接，用于响应于所述任务管理模块下发的数据采集指令采集目标数据；标签化处理单元，与所述主动数据采集单元和所述被动数据采集单元连接，用于按照预设标签类型对所述主动数据采集单元或所述被动数据采集单元采集到的所述目标数据进行标签化处理，所述预设标签类型包括日志类型和日志源类型。4.根据权利要求1所述的系统，其特征在于，所述采集引擎模块，还包括：心跳检测单元，与所述任务管理模块建立通讯连接，用于对所述采集引擎模块进行心跳检测，并将心跳检测结果上传至所述任务管理模块。5.根据权利要求1所述的系统，其特征在于，所述数据处理模块包括：数据缓存子模块，与所述采集引擎模块连接，用于缓存所述目标数据；数据解析子模块，与所述数据缓存子模块和所述任务管理模块连接，用于在所述数据缓存子模块提取所述目标数据，在所述任务管理模块拉取与所述目标数据匹配的目标解析规则，并利用所述目标解析规则对所述目标数据进行解析处理；数据清洗子模块，与所述数据解析子模块连接，用于获取所述目标数据的解析数据，并对所述解析数据进行数据清洗。6.根据权利要求5所述的系统，其特征在于，所述数据缓存子模块，包括：缓存命名单元，与所述采集引擎模块连接，用于在所述数据缓存子模块提取所述目标数据后，利用预设命名规则对所述目标数据进行命名并缓存。7.根据权利要求5所述的系统，其特征在于，所述数据解析子模块，包括：规则树生成单元，与所述任务管理模块连接，用于在所述任务管理模块拉取与目标数据匹配的目标解析规则，并基于所述目标解析规则生成规则树；解析执行单元，与所述规则树生成单元连接，用于基于所述规则树对所述目标数据进2CN113986902A权利要求书2/2页行解析处理。8.根据权利要求5所述的系统，其特征在于，所述数据清洗子模块，包括以下单元中的至少一种：数据过滤