日志数据处理方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760847A(43)申请公布日2021.12.07(21)申请号202110122310.0(22)申请日2021.01.28(71)申请人北京沃东天骏信息技术有限公司地址100176北京市经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人梁秋实王行行桂创华(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人王征臧建明(51)Int.Cl.G06F16/18(2019.01)G06F16/13(2019.01)G06F16/14(2019.01)G06F3/06(2006.01)权利要求书4页说明书19页附图7页(54)发明名称日志数据处理方法、装置、设备及存储介质(57)摘要本发明实施例提供一种日志数据处理方法、装置、设备及存储介质，通过网关将携带标签信息及时间戳信息的待存储日志根据路由信息发送至日志存储系统的目标数据节点，目标数据节点根据待存储日志携带的标签信息及时间戳信息对多条待存储日志按照时序写入目标数据节点的第一存储单元，并根据多条待存储日志的标签信息生成倒排索引文件，用于在查询日志阶段根据倒排索引文件和时间信息定位所需查询的目标日志；再将第一存储单元中经排序的多条待存储日志以数据块形式迁移到第二存储单元，第二存储单元中各数据块按照时序存储。本发明减少日志存储过程处理量，保证日志数据存储和查询的性能，且降低成本，提高处理效率，适用于海量日志数据处理过程。CN113760847ACN113760847A权利要求书1/4页1.一种日志数据处理方法，其特征在于，应用于包括多个数据节点的日志存储系统的任一数据节点上，所述数据节点包括第一存储单元和第二存储单元，所述方法包括：接收网关根据路由信息发送的多条待存储日志，所述待存储日志携带标签信息以及时间戳信息；其中所述路由信息为所述网关根据所述待存储日志的标签信息以及时间戳信息确定；根据所述标签信息以及所述时间戳信息对所述多条待存储日志按照时序写入到所述第一存储单元中，并根据所述多条待存储日志的标签信息生成倒排索引文件，所述倒排索引文件用于在查询日志阶段根据所述倒排索引文件和时间信息定位所需查询的目标日志；将所述第一存储单元中经排序的多条待存储日志以数据块形式迁移到所述第二存储单元中；其中所述第二存储单元中各数据块按照时序存储。2.根据权利要求1所述的方法，其特征在于，所述第一存储单元按照标签信息划分为不同的序列，每一序列按照时间划分为多个层级的存储单元，其中下一层级存储单元是对上一层级存储单元进行更细时间粒度划分得到的；所述根据所述标签信息以及所述时间戳信息对所述多条待存储日志按照时序写入到所述第一存储单元中，包括：针对任一条待存储日志，根据所述待存储日志的标签信息确定目标序列；对所述待存储日志的时间戳信息进行取整和取余处理，确定所述时间戳在最小时间粒度中所处的时间区间，根据所述时间区间确定对应的最低层级的存储单元；通过有序链表将所述待存储日志存储于所述目标序列的该最低层级的存储单元中。3.根据权利要求2所述的方法，其特征在于，所述将所述第一存储单元中经排序的多条待存储日志以数据块形式迁移到所述第二存储单元中，包括：按照预定时间区间，将所述第一存储单元中经排序的所述多条待存储日志划分为至少一个待迁移数据块；判断所述第二存储单元中是否存在与所述待迁移数据块处于相同时间区间的已存储数据块；若存在，则将所述待迁移数据块与处于相同时间区间的已存储数据块进行合并，将合并后的数据块存储在所述第二存储单元中，且与其他已存储数据块按照时序排序；若不存在，则将所述待迁移数据块存储在所述第二存储单元中，且与其他已存储数据块按照时序排序。4.根据权利要求3所述的方法，其特征在于，所述将所述待迁移数据块与处于相同时间区间的已存储数据块进行合并，包括：采用游标迭代器读取所述待迁移数据块的各条待存储日志、以及相同时间区间的已存储数据块中的各条已存储日志；按照该些日志的时间戳信息重新进行排序，得到所述合并后的数据块。5.根据权利要求1‑4任一项所述的方法，其特征在于，所述将所述第一存储单元中经排序的多条待存储日志以数据块形式迁移到所述第二存储单元中，包括：每间隔预定时间，将所述第一存储单元中经排序的多条待存储日志以数据块形式迁移到所述第二存储单元中；和/或若所述第一存储单元中经排序的多条待存储日志占用存储空间超过预设阈值时，将所2CN113760847A权利要求书2/4页述第一存储单元中经排序的多条待存储日志以数据块形式迁移到所述第二存储单元中。6.根据权利要求2‑4任一项所述的方法，其特征在于，所述数据块中包括多个层级的子数据块，分别与所述第一存储单元的多个层