日志管理方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113609091A(43)申请公布日2021.11.05(21)申请号202110949207.3(22)申请日2021.08.18(71)申请人星环众志科技（北京）有限公司地址100036北京市海淀区复兴路69号院11号五层-502、503、504、505、506、507、508(72)发明人刘熙(74)专利代理机构北京品源专利代理有限公司11332代理人黄玉霞(51)Int.Cl.G06F16/18(2019.01)G06F16/182(2019.01)G06F16/13(2019.01)G06F16/172(2019.01)权利要求书2页说明书8页附图2页(54)发明名称日志管理方法、装置、设备及存储介质(57)摘要本发明实施例公开了一种日志管理方法、装置、设备及存储介质。该方法包括：获取目标进程中的各实例的实例标识和日志项，并根据实例标识和日志项生成与各实例对应的索引数据；所述索引数据用于对日志项进行操作；将各实例的日志项顺序存储到磁盘的存储分区中形成日志文件，并将与各实例对应的索引数据存储到可嵌入数据库RocksDB中。本发明实施例的技术方案，实现单个进程中的多个实例共享日志，提高资源利用率和磁盘性能，对大规模的日志文件可以进行高效处理。CN113609091ACN113609091A权利要求书1/2页1.一种日志管理方法，其特征在于，包括：获取目标进程中的各实例的实例标识和日志项，并根据实例标识和日志项生成与各实例对应的索引数据；所述索引数据用于对日志文件进行操作；将各实例的日志项顺序存储到磁盘的存储分区中形成日志文件，并将与各实例对应的索引数据存储到可嵌入数据库RocksDB中。2.根据权利要求1所述的方法，其特征在于，所述索引数据，包括：与各日志文件对应的日志索引，所述日志索引用于对日志文件进行读取操作；根据实例标识和日志项生成与各实例对应的索引数据，包括：获取日志项的日志编号；将实例标识与日志编号的组合作为键名，将日志项对应的存储分区的编号与日志文件偏移量的组合作为键值，生成键值对形式的日志索引。3.根据权利要求2所述的方法，其特征在于，所述索引数据，还包括：用于日志回收的实例元信息，以及用于节点重启后恢复索引数据的全局元信息；所述实例元信息，包括：实例的可删除日志文件的日志编号的最大值，与所述日志编号最大值对应的任期，以及所述实例的实例删除标识；所述全局元信息，包括：各实例的索引数据最后一次落盘时，处于开放状态的存储分区的编号。4.根据权利要求1所述的方法，其特征在于，将各实例的日志项顺序存储到磁盘的存储分区中形成日志文件，并将与各实例对应的索引数据存储到RocksDB中，包括：按照日志项的写入顺序，依次从各实例的日志项中确定当前待处理的目标日志项，并将目标日志项存储到处于开放状态的磁盘存储分区中形成日志文件；对各实例的索引数据进行编码，以键值对的形式存储到RocksDB中。5.根据权利要求1所述的方法，其特征在于，在将与各实例对应的索引数据存储到RocksDB中之前，还包括：关闭RocksDB的预写日志功能。6.根据权利要求3所述的方法，其特征在于，还包括：响应于全局元信息的定时更新消息，将全局元信息更新为当前处于开放状态的磁盘存储分区的编号，并根据更新后的全局元信息进行索引数据落盘处理；和/或，响应于索引数据的恢复请求，从RocksDB实例中读取全局元信息，从所述全局元信息对应的存储分区编号开始，顺序扫描日志文件，恢复索引数据。7.根据权利要求3所述的方法，其特征在于，还包括：响应于日志回收的定时触发消息，扫描各实例的索引数据；针对各实例，删除在实例元信息的日志编号最大值之前的日志索引；删除磁盘中处于关闭状态，且未被任何日志索引引用的存储分区。8.一种日志管理装置，其特征在于，包括：获取模块，用于获取目标进程中的各实例的实例标识和日志项，并根据实例标识和日志项生成与各实例对应的索引数据；所述索引数据用于对日志文件进行操作；存储模块，用于将各实例的日志项顺序存储到磁盘的存储分区中形成日志文件，并将与各实例对应的索引数据存储到RocksDB中。9.一种计算机设备，其特征在于，所述设备包括：2CN113609091A权利要求书2/2页一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1‑7中任一所述的日志管理方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1‑7中任一所述的日志管理方法。3CN113609091A说明书1/8页日志管理方法、装置、设备及存储介质技术领域[0001]本发明实施