日志存储方法、日志检索方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115061990A(43)申请公布日2022.09.16(21)申请号202210660343.5G06F40/242(2020.01)(22)申请日2022.06.10(71)申请人金蝶软件（中国）有限公司地址518000广东省深圳市南山区科技园科技南十二路2号金蝶软件园A座1-8层(72)发明人吴光华(74)专利代理机构广州三环专利商标代理有限公司44202专利代理师颜希文(51)Int.Cl.G06F16/18(2019.01)G06F16/172(2019.01)G06F16/13(2019.01)G06F40/284(2020.01)权利要求书2页说明书13页附图6页(54)发明名称日志存储方法、日志检索方法、装置、设备及存储介质(57)摘要本申请公开了一种日志存储方法、日志检索方法、装置、设备及存储介质，方法包括获取词汇信息与日志标识之间的第一对应关系，词汇信息为对日志记录进行分词得到，日志标识为日志记录的标识信息；根据第一对应关系，将日志记录持久化到目标存储空间，目标存储空间包括目标索引文件和日志文件，目标索引文件存储有第一对应关系，日志文件存储有日志记录。本申请通过在建立第一对应关系时，对日志记录进行分词，以能够将日志内容和词汇信息持久化至目标存储空间，从而作为后续全文检索的依据，使得日志工具支持全文检索。CN115061990ACN115061990A权利要求书1/2页1.一种日志存储方法，其特征在于，包括：获取词汇信息与日志标识之间的第一对应关系，所述词汇信息为对日志记录进行分词得到，所述日志标识为所述日志记录的标识信息；根据所述第一对应关系，将所述日志记录持久化到目标存储空间，所述目标存储空间包括目标索引文件和日志文件，所述目标索引文件存储有所述第一对应关系，所述日志文件存储有所述日志记录。2.如权利要求1所述的日志存储方法，其特征在于，所述获取词汇信息与日志标识之间的第一对应关系，包括：建立所述日志标识与序列标识之间的第二对应关系，所述序列标识为日志流的标识信息，所述日志流包括多个日志记录；对所述日志记录进行分词，得到多个词汇信息；根据所述词汇信息和所述第二对应关系，生成词典倒排表，所述词典倒排表存储有所述第一对应关系。3.如权利要求2所述的日志存储方法，其特征在于，所述建立所述日志标识与序列标识之间的第二对应关系，包括：对所述日志流的第一标签信息进行哈希运算，得到所述日志流的序列标识；将所述序列标识和所述日志标识添加至预设序列表，生成内存序列表，所述内存序列表存储有所述第二对应关系。4.如权利要求1所述的日志存储方法，其特征在于，所述方法，还包括：获取第二标签信息与序列标识之间的第三对应关系，所述第二标签信息为所述日志记录的标签信息，所述序列标识为日志流的标识信息，所述目标索引文件还存储有所述第三对应关系。5.如权利要求1所述的日志存储方法，其特征在于，所述根据所述第一对应关系，将所述日志记录持久化到目标存储空间，包括：根据所述第一对应关系，将所述日志记录中的内容信息存储至所述日志文件，并生成所述日志文件的内容表，内容表存储有所述日志标识与所述日志文件的第一文件偏移量之间的第四对应关系；根据所述词汇信息和所述日志标识，生成所述目标索引文件。6.如权利要求5所述的日志存储方法，其特征在于，所述目标索引文件包括时序子文件和索引子文件，所述根据所述词汇信息和所述日志标识，生成所述目标索引文件，包括：根据所述日志记录中的时间戳和所述日志标识，生成所述时序子文件；建立所述词汇信息与所述时序子文件的第二文件偏移量之间的第五对应关系，得到所述索引子文件。7.如权利要求6所述的日志存储方法，其特征在于，所述根据所述日志记录中的时间戳和所述日志标识，生成所述时序子文件，包括：建立所述日志记录中的时间戳与所述日志标识之间的第六对应关系，得到区块子文件；建立所述区块子文件中的时间窗口与所述区块子文件的第三文件偏移量之间的第七对应关系，得到所述时序子文件。2CN115061990A权利要求书2/2页8.如权利要求6所述的日志存储方法，其特征在于，所述索引子文件还存储有所述日志记录的第二标签信息与所述时序子文件的第二文件偏移量之间的第六对应关系。9.一种日志检索方法，其特征在于，包括：获取待检索信息，所述待检索信息包括第二标签信息或全文信息，所述全文信息包括词汇信息；基于所述待检索信息，对目标存储空间进行日志检索，得到所述待检索信息对应的目标日志记录，所述目标存储空间包括目标索引文件和日志文件，所述目标索引文件存储有所述待检索信息与所述日志标识之间对应关系，所述日志文件存储有所述日志标识对应的内容信息。10.一种日志存储装置，其特征在于，包括：第一获取模块，用于