一种基于云原生的组件实现日志采集查询存储方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115934817A(43)申请公布日2023.04.07(21)申请号202211519904.6(22)申请日2022.11.30(71)申请人天翼电子商务有限公司地址100000北京市西城区阜成门外大街31号4层429D(72)发明人张长双黄平(51)Int.Cl.G06F16/25(2019.01)G06F8/38(2018.01)权利要求书2页说明书8页附图3页(54)发明名称一种基于云原生的组件实现日志采集查询存储方法及系统(57)摘要本发明提出了一种基于云原生的组件实现日志采集查询存储方法及系统，涉及日志查询领域。包括获取用户日志查询请求；响应于用户日志查询请求，向多个端设备请求日志数据的采集，其中通过k8s部署容器组件；将多个端设备返回的日志数据转换为统一的数据格式，得到转换后的日志数据，存储结构包括多个流式标签；将转换后的日志数据中属于日志查询请求所请求的查询范围的数据，选择gzip、lz4和snappy三种压缩方式，并且将日志组件与存储组件分离，推送至请求端进行显示；用户通过日志查询界面输入的查询条件。解决了可后台查询日志的技术难度，以及对服务器造成的压力问题。CN115934817ACN115934817A权利要求书1/2页1.一种基于云原生的组件实现日志采集查询存储方法，其特征在于，包括如下步骤，S1.获取用户日志查询请求；S2.响应于用户日志查询请求，向多个端设备请求日志数据的采集，其中通过k8s部署容器组件；S3.将多个端设备返回的日志数据转换为统一的数据格式，得到转换后的日志数据，存储结构包括多个流式标签；S4.将转换后的日志数据中属于日志查询请求所请求的查询范围的数据，选择gzip、lz4和snappy三种压缩方式，并且将日志组件与存储组件分离，推送至请求端进行显示；S5.用户通过日志查询界面输入的查询条件，并生成汇总数据；S6.根据所述查询条件，生成查询请求并发送至日志查询系统。2.如权利要求1所述的一种基于云原生的组件实现日志采集查询存储方法，其特征在于，步骤S3中，日志数据用于存储包括entries、block、chunk和label解析。3.如权利要求1所述的一种基于云原生的组件实现日志采集查询存储方法，其特征在于，步骤S3具体包括如下步骤：S3‑1.1entries解析：a)每个entry均是一条单独的日志行；b)一个block包括一系列entries；S3‑2.block解析：a)一个block包括多个entries；b)每个entries的元数据记录最小和最大的纳秒级时间戳以及偏移量；S3‑3.chunk解析：a)chunk包括多个block，每个block均有唯一个checksum；S3‑4.label解析：a)标签用于描述日志流的元数据，由key‑value组成；b)每个标签的key和value组成一个流，任意一个标签的值变化均创建一个新流。4.如权利要求1所述的一种基于云原生的组件实现日志采集查询存储方法，其特征在于，步骤S3还包括如下步骤：S3‑5.采集json格式数据展示图。5.如权利要求1所述的一种基于云原生的组件实现日志采集查询存储方法，其特征在于，步骤S4具体包括如下步骤：S4‑1.利用ceph/minio的副本和纠删码机制；S4‑2.采用多租户的形式。6.如权利要求1所述的一种基于云原生的组件实现日志采集查询存储方法，其特征在于，步骤S5中，所有展示图均可自行调整，可控和可扩展。7.一种基于云原生的组件实现日志采集查询存储系统，其特征在于，包括，请求获取模块：获取用户日志查询请求；请求响应模块：响应于用户日志查询请求，向多个端设备请求日志数据的采集，其中通过k8s部署容器组件；格式转换模块：将多个端设备返回的日志数据转换为统一的数据格式，得到转换后的日志数据，存储结构包括多个流式标签；2CN115934817A权利要求书2/2页日志推送模块：将转换后的日志数据中属于日志查询请求所请求的查询范围的数据，选择gzip、lz4和snappy三种压缩方式，并且将日志组件与存储组件分离，推送至请求端进行显示；查询汇总模块：用户通过日志查询界面输入的查询条件，并生成汇总数据；请求生成模块：根据所述查询条件，生成查询请求并发送至日志查询系统。3CN115934817A说明书1/8页一种基于云原生的组件实现日志采集查询存储方法及系统技术领域[0001]本发明涉及日志查询领域，具体而言，涉及一种基于云原生的组件实现日志采集查询存储方法及系统。背景技术[0002]目前，公司对产品生产问题的排查，大多是依靠运维人员在生产上发送命令查询分析，排查过程会对服务器造成较大压力，且对排查问题的人员的技术能力要求较高，造成生产问题的