容器云平台日志收集及分析告警方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111782345A(43)申请公布日2020.10.16(21)申请号202010644149.9(22)申请日2020.07.07(71)申请人郑州迪维勒普科技有限公司地址450000河南省郑州市高新技术产业开发区长椿路11号15幢2单元23层206号(72)发明人岳志军尚尔卓岳鑫(74)专利代理机构郑州芝麻知识产权代理事务所(普通合伙)41173代理人张海青(51)Int.Cl.G06F9/455(2006.01)G06F11/32(2006.01)权利要求书2页说明书6页(54)发明名称容器云平台日志收集及分析告警方法(57)摘要本发明涉及一种容器云平台日志收集及分析告警方法，该方法基于Kubernetes容器云平台，编写Elasticseach配置文件，通过有状态副本集StatefulSets部署Elasticseach，使用存储类Storageclass进行日志存储的挂载实现对集群日志、容器日志和应用日志的收集；对日志数据进行处理并通过数据接口传送至容器云平台，容器云平台依据所建立的日志特征库对容器日志和应用日志做关联分析，当达到告警条件时，在前端界面展示报表的功能、告警通知和策略配置；该方法可及时发送报警信息给报警接收人和用户，简化了日志分析的难度，降低了系统运维成本，提高了开发运维人员对日志的可读性。CN111782345ACN111782345A权利要求书1/2页1.一种容器云平台日志收集方法，其特征是：基于Kubernetes容器云平台，含有以下步骤：步骤1.1、编写Elasticseach配置文件，通过有状态副本集StatefulSets部署Elasticseach，使用存储类Storageclass进行日志存储的挂载，存储类Storageclass生成PVC，Elasticseach生成域名地址；步骤1.2、集群日志的收集：编写Filebeat的配置文件，将该配置文件部署到守护进程集DaemonSet，收集每一个节点的/var/log/messages日志数据；步骤1.3、容器日志的收集：首先编写eventrouter容器配置文件，挂载/data/log/eventrouter目录；然后启动一个Filebeat容器挂载/data/log/eventrouter目录，使用Filebeat收集该/data/log/eventrouter目录下的日志数据；步骤1.4、应用日志的收集：在应用部署容器中，另启动一个Filebeat容器挂载应用日志目录，使用Filebeat收集应用项目目录下的日志数据。2.根据权利要求1所述的容器云平台日志收集方法，其特征是：所述步骤1.1中，PVC为基于nfs和cephfs的PVC。3.一种含有权利要求1或2所述的容器云平台日志收集方法的容器云平台日志分析告警方法，其特征是：首先执行所述容器云平台日志收集方法，然后进行以下步骤：步骤2、对收集到的日志数据进行处理；步骤3、将处理过的日志数据通过数据接口传送至容器云平台；步骤4、建立日志特征库；步骤5、容器云平台依据日志特征库对容器日志和应用日志做关联分析；步骤6、关联分析结果达到告警条件时，在前端界面展示报表的功能、告警通知和策略配置。4.根据权利要求3所述的容器云平台日志分析告警方法，其特征是：所述步骤2含有以下步骤：步骤2.1、配置多个Logstash节点并行，将集群日志、容器日志和应用日志上传至Logstash；步骤2.2、Logstash对集群日志、容器日志和应用日志的数据分别进行过滤处理，并将过滤处理后的日志数据上传至Elasticseach，Elasticseach对过滤处理后的日志数据进行索引和存储。5.根据权利要求4所述的容器云平台日志分析告警方法，其特征是：所述步骤2.2具体为：步骤2.2.1，编写Logstash配置文件，对收集来的集群日志、容器日志和应用日志的数据分别进行清洗处理，形成规范化的日志记录格式；步骤2.2.2，Elasticseach对外提供httpapi接口，用户根据自己的需求，对清洗好的日志数据进行搜索查询，并快速定位到相对应的日志所属应用及系统上。6.根据权利要求3所述的容器云平台日志分析告警方法，其特征是：所述步骤3中的数据接口为httpapi接口。7.根据权利要求3所述的容器云平台日志分析告警方法，其特征是：所述步骤4中，对日志类别进行故障分级，建立日志特征库，日志特征库含有一级故障日志特征库、二级故障日2CN111782345A权利要求书2/2页志特征库和三级故障日志特征库；一级故障日志，是指kubernetes组件服务故障及集群故障日志；二级故障日志，是指pod状态故障日志；三级故障日志：当业务日志中出现E