日志处理方法、装置和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114756301A(43)申请公布日2022.07.15(21)申请号202210435811.9G06F16/14(2019.01)(22)申请日2022.04.24(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人王国彬钱正宇施恩胡鸣人褚振方袁正雄李金麒罗阳黄悦(74)专利代理机构北京博浩百睿知识产权代理有限责任公司11134专利代理师宫传芝(51)Int.Cl.G06F9/445(2018.01)G06F16/176(2019.01)G06F16/18(2019.01)权利要求书3页说明书14页附图5页(54)发明名称日志处理方法、装置和系统(57)摘要本公开提供了一种日志处理方法、装置和系统，涉及计算机技术领域，尤其涉及人工智能、云计算、大数据领域。具体实现方案为：接收日志采集任务，其中，日志采集任务用于采集初始日志，初始日志至少包括：容器集群包含的目标容器的日志；对日志采集任务进行解析，生成多个日志采集组件对应的配置文件；将多个日志采集组件中的目标日志采集组件部署到目标对象，其中，目标对象为目标容器所属的目标节点或目标容器组；基于目标日志采集组件对应的目标配置文件，通过目标日志采集组件对初始日志进行收集。CN114756301ACN114756301A权利要求书1/3页1.一种日志处理方法，包括：接收日志采集任务，其中，所述日志采集任务用于采集初始日志，所述初始日志为容器集群包含的目标容器的日志；对所述日志采集任务进行解析，生成多个日志采集组件对应的配置文件；将所述多个日志采集组件中的目标日志采集组件部署到目标对象，其中，所述目标对象为所述目标容器所属的目标节点或目标容器组；基于所述目标日志采集组件对应的目标配置文件，通过所述目标日志采集组件对所述初始日志进行收集。2.根据权利要求1所述的方法，其中，对所述日志采集任务进行解析，生成多个日志采集组件对应的配置文件包括：基于预设数据结构对所述日志采集任务进行解析，得到多个配置字段；基于每个日志采集组件对应的数据结构对所述多个配置字段进行组合，生成所述每个日志采集组件对应的配置文件。3.根据权利要求1所述的方法，其中，在所述目标对象为所述目标容器所属的目标容器组的情况下，将所述多个日志采集组件中的目标日志采集组件部署到目标对象包括：基于所述目标容器的目标标识信息，确定所述目标容器组和所述目标日志采集组件；基于所述目标日志采集组件创建旁路容器，其中，所述旁路容器用于基于文件共享机制对所述初始日志进行收集；将所述旁路容器插入至所述目标容器组。4.根据权利要求3所述的方法，其中，基于所述目标容器的目标标识信息，确定所述目标容器组和所述目标日志采集组件包括：获取所述日志采集任务对应的配置对象和所述日志采集任务对应的配置内容，其中，所述配置对象用于表征不同标识信息对应的容器组，所述配置内容用于表征不同标识信息对应的日志采集组件；获取所述配置对象中所述目标标识信息对应的容器组，得到所述目标容器组；获取所述配置内容中所述目标标识信息对应的日志采集组件，得到所述目标日志采集组件。5.根据权利要求1至4中任意一项所述的方法，还包括：接收至少一个日志聚合组件的第一配置信息；基于所述第一配置信息，对所述至少一个日志聚合组件进行部署；通过部署的所述至少一个日志聚合组件对收集到的日志进行聚合处理。6.根据权利要求5所述的方法，其中，所述第一配置信息包括：所述至少一个日志聚合组件的部署类型，基于所述第一配置信息，对所述至少一个日志聚合组件进行部署包括：在所述部署类型为外部部署的情况下，将所述至少一个日志聚合组件部署在所述容器集群外部的目标集群；在所述部署类型为内部部署的情况下，将所述至少一个日志聚合组件部署在所述容器集群内部。7.根据权利要求5所述的方法，其中，所述第一配置信息包括：多个日志聚合组件的部署关系，基于所述第一配置信息，对所述至少一个日志聚合组件进行部署包括：2CN114756301A权利要求书2/3页基于所述部署关系，将所述多个日志聚合组件组合成日志聚合组件流水线；对所述日志聚合组件流水线进行部署。8.根据权利要求5至7中任意一项所述的方法，还包括：接收数据查询组件对应的第二配置信息；基于所述第二配置信息，将所述数据查询组件部署在所述容器集群内或所述容器集群外部的目标集群；响应于接收到的日志查询请求，通过所述数据查询组件获取所述日志查询请求对应的日志查询结果；输出所述日志查询结果。9.根据权利要求8所述的方法，其中，通过所述数据查询组件获取所述日志查询请求对应的日志查询结果包括：通过所述数据查询组件获取目标日志聚合组件输出的多个日志，其中，所述目标日志聚合组件部署在