日志服务系统及日志记录的处理方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113722188A(43)申请公布日2021.11.30(21)申请号202111080205.1(22)申请日2021.09.15(71)申请人京东科技信息技术有限公司地址100000北京市大兴区经济技术开发区科创十一街18号院2号楼6层601(72)发明人周力(74)专利代理机构北京集佳知识产权代理有限公司11227代理人李伟(51)Int.Cl.G06F11/30(2006.01)权利要求书2页说明书10页附图4页(54)发明名称日志服务系统及日志记录的处理方法(57)摘要本发明提供一种日志服务系统及日志记录的处理方法，该系统包括：日志存储模块、日志解析模块以及元信息模块；日志存储模块用于保存主计算节点发送的日志块；日志解析模块用于将从日志存储模块中读取到的日志块确定为目标日志块，获取目标日志块中的每条日志记录；提取每条日志记录的元信息，并将每条日志记录的元信息保存至每个日志记录在元信息模块中所属的存储模块中，元信息包含日志记录的日志序列号和日志长度。本发明将将日志记录和日志记录的元信息分开保存，避免日志记录重复存储，减少对额外内存的占用，提高日志服务系统的内存利用率。CN113722188ACN113722188A权利要求书1/2页1.一种日志服务系统，其特征在于，包括：日志存储模块、日志解析模块以及元信息模块；所述日志存储模块，用于保存主计算节点发送的日志块；所述日志解析模块，用于读取所述日志存储模块中的日志块，并将读取到的日志块确定为目标日志块，获取所述目标日志块中的每条日志记录；对于每条所述日志记录，提取所述日志记录的元信息，确定所述日志记录在所述元信息模块中所属的存储模块，并将所述日志记录的元信息保存至所述日志记录在所述元信息模块中所属的存储模块中，其中，所述元信息包含日志记录的日志序列号和日志长度。2.根据权利要求1所述的系统，其特征在于，所述日志存储模块，用于在接收到主计算节点发送的日志块后，在所述日志存储模块的各个缓存单元中确定目标缓存单元，将日志块保存至所述目标缓存单元中。3.根据权利要求1所述的系统，其特征在于，所述元信息模块，包括：多个存储模块；每个所述存储模块中包含至少一个内存块，每个所述存储模块中的各个内存块链接成内存块链；所述内存块，用于保存日志记录的元信息。4.根据权利要求3所述的系统，其特征在于，所述日志解析模块，用于在获取所述目标日志块中的每条日志记录后，提取每条所述日志记录的元信息，对于每条所述日志记录，确定所述日志记录在所述元信息模块中所属的存储模块，确定所述存储模块的内存块链中的最后一个内存块是否存在可用空间，若内存块链中的最后一个内存块存在可用空间，则将所述日志记录的元信息保存至所述内存块链中的最后一个内存块中；若内存块链中的最后一个内存块不存在可用空间，则从所述元信息模块的空闲链表中获取空内存块，并将所述空内存块链接至所述内存块链的尾部，并将所述日志记录的元信息保存至链接到所述内存块链的空内存块中。5.根据权利要求3所述的系统，其特征在于，所述元信息模块，还包括：清理模块；所述清理模块，用于基于所述日志存储模块中被覆盖的各个日志记录确定目标日志序列号；基于所述目标日志序列号，在所述元信息模块中确定满足预设的清除条件的各个内存块；基于每个满足预设的清除条件的内存块在其所属的存储模块中的位置信息，对每个满足预设的清除条件的内存块进行清除操作。6.根据权利要求5所述的系统，其特征在于，所述清理模块用于将每个所述内存块中最大的日志序列号均确定为判定日志序列号，并将每个所述判定日志序列号均与所述目标日志序列号进行比较，并将小于或等于所述目标日志序列号的判定日志序列号所属的内存块确定为满足所述清除条件的内存块。7.根据权利要求1所述的系统，其特征在于，还包括：归档模块；所述归档模块，用于从所述日志存储模块中读取日志块，并对读取到的日志块进行归档处理。8.一种日志记录的处理方法，其特征在于，包括：2CN113722188A权利要求书2/2页当从日志存储模块中读取到日志块时，获取所述日志块中的各个日志记录；确定每个所述日志记录在元信息模块中所属的存储模块；提取每个所述日志记录的元信息；对于每个所述日志记录，将所述日志记录的元信息保存至该日志记录在所述元信息模块中所属的存储模块中。9.根据权利要求8所述的方法，其特征在于，所述确定每个所述日志记录在元信息模块中所属的存储模块，包括：对每个所述日志记录进行解析，确定每个所述日志记录的存储属性；基于每个所述日志记录的存储属性，在所述元信息模块中确定每个所述日志记录所属的存储模块。10.根据权利要求8所述的方法，其特征在于，所述将所述日志记录的元信息保存至该日志记录在所述元