日志存储方法、装置、计算机设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114116614A(43)申请公布日2022.03.01(21)申请号202111443033.X(22)申请日2021.11.30(71)申请人平安养老保险股份有限公司地址200000上海市浦东新区自由贸易试验区陆家嘴环路1333号12楼、20楼、21楼、24楼(72)发明人路洋(74)专利代理机构深圳市精英专利事务所44242代理人李翔宇(51)Int.Cl.G06F16/14(2019.01)G06F16/172(2019.01)G06F16/18(2019.01)权利要求书2页说明书12页附图4页(54)发明名称日志存储方法、装置、计算机设备及存储介质(57)摘要本申请实施例公开了一种日志存储方法、装置、计算机设备及存储介质。方法包括：获取待处理日志；然后根据日志关键字以及预设的关键字与日志等级的对应关系，确定待处理日志的目标日志等级；将目标日志等级写入待处理日志中，得到目标日志；然后将符合预设的日志预聚合条件的目标日志进行预聚合处理，得到预聚合后的目标日志；将预聚合后的目标日志存入ClickHouse数据库中。本方案中用户对日志进行查询时，可以根据日志携带的日志等级快速确定日志的重要性程度，提高了日志的查询效率，并且当用户对进行过预聚合处理的日志进行查询时，装置不需要对该查询进行聚合处理，提高了装置的响应速度，进一步提高了日志的查询效率。CN114116614ACN114116614A权利要求书1/2页1.一种日志存储方法，其特征在于，包括：获取待处理日志，所述待处理日志携带有日志关键字；根据所述日志关键字以及预设的关键字与日志等级的对应关系，确定所述待处理日志的目标日志等级；将所述目标日志等级写入所述待处理日志中，得到目标日志；根据所述目标日志携带的日志关键字及所述目标日志对应的日志产生时间判断所述目标日志是否符合预设的日志预聚合条件；若所述目标日志符合所述日志预聚合条件，则对所述目标日志进行预聚合处理，得到预聚合后的目标日志；将所述预聚合后的目标日志存入所述ClickHouse数据库中。2.根据权利要求1所述的方法，其特征在于，所述关键字与日志等级的对应关系包括多个子关键字与日志等级的对应关系，所述根据所述日志关键字以及预设的关键字与日志等级的对应关系，确定所述待处理日志的目标日志等级，包括：通过多个预设的线程分别在各所述子关键字与日志等级的对应关系中对所述日志关键字进行查找；当在所述子关键字与日志等级的对应关系中查找到所述日志关键字时，将所述日志关键字对应的日志等级确定为所述目标日志等级。3.根据权利要求1所述的方法，其特征在于，所述获取待处理日志，包括：获取原始日志；确定所述原始日志中是否携带有预设的异常日志标识；若所述原始日志中携带有所述异常日志标识，则将所述原始日志确定为所述待处理日志。4.根据权利要求3所述的方法，其特征在于，所述获取原始日志，包括：采集原始日志至Kafka消息队列中；从所述Kafka消息队列中获取所述原始日志。5.根据权利要求4所述的方法，其特征在于，所述从所述Kafka消息队列中获取所述原始日志，包括：从所述Kafka消息队列中消费所述原始日志，所述原始日志中携带有日志场景信息；判断预设的过滤场景信息中是否包含所述日志场景信息；若所述过滤场景信息中不包含所述日志场景信息，则获取所述原始日志。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述将所述目标日志存入ClickHouse数据库中之后，所述方法还包括：接收日志查询请求；从所述ClickHouse数据库中查找与所述日志查询请求匹配的匹配日志；根据所述匹配日志携带的日志等级对所述匹配日志进行排序处理，得到日志查询结果；输出所述日志查询结果。7.根据权利要求6所述的方法，其特征在于，所述日志查询请求包括日志标识以及日志聚合信息，所述从所述ClickHouse数据库中查找与所述日志查询请求匹配的匹配日志，包2CN114116614A权利要求书2/2页括：从所述ClickHouse数据库中查找所述日志标识的对应日志；判断所述对应日志的聚合状态是否与所述日志聚合信息相对应；若所述对应日志的聚合状态与所述日志聚合信息相对应，则将所述对应日志确定为所述匹配日志。8.一种日志存储装置，其特征在于，包括：获取单元，用于获取待处理日志，所述待处理日志携带有日志关键字；确定单元，用于根据所述日志关键字以及预设的关键字与日志等级的对应关系，确定所述待处理日志的目标日志等级；写入单元，用于将所述目标日志等级写入所述待处理日志中，得到目标日志；判断单元，用于根据所述目标日志携带的日志关键字及所述目标日志对应的日志产生时间判断所述目标日志是否符合预设的日志预聚合条件；预聚合