增量日志处理方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760885A(43)申请公布日2021.12.07(21)申请号202011152022.1G06F16/28(2019.01)(22)申请日2020.10.23(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人程志良林德强(74)专利代理机构中科专利商标代理有限责任公司11021代理人孙蕾(51)Int.Cl.G06F16/22(2019.01)G06F16/2455(2019.01)G06F16/2457(2019.01)权利要求书3页说明书15页附图6页(54)发明名称增量日志处理方法、装置、电子设备及存储介质(57)摘要本公开实施例提供了一种增量日志处理方法、装置、电子设备及存储介质。该方法包括：获取与增量日志对应的多个目标数据包，其中，每个目标数据包包括序号标识，其中，每个序号标识用于表征获取目标数据包的顺序；针对多个目标数据包中的每个目标数据包，确定与目标数据包对应的解析单元；调用与目标数据包对应的解析单元并行解析目标数据包，得到与目标数据包对应的解析结果，其中，每个解析结果包括用于表征获取目标数据包的顺序的序号标识；按照由多个序号标识确定的输出顺序输出多个解析结果。CN113760885ACN113760885A权利要求书1/3页1.一种增量日志处理方法，包括：获取与增量日志对应的多个目标数据包，其中，每个所述目标数据包包括序号标识，其中，每个所述序号标识用于表征获取所述目标数据包的顺序；针对所述多个目标数据包中的每个目标数据包，确定与所述目标数据包对应的解析单元；调用与所述目标数据包对应的解析单元并行解析所述目标数据包，得到与所述目标数据包对应的解析结果，其中，每个所述解析结果包括用于表征获取所述目标数据包的顺序的序号标识；以及按照由多个所述序号标识确定的输出顺序输出多个所述解析结果。2.根据权利要求1所述的方法，其中，所述获取与增量日志对应的多个数据包，包括：获取与增量日志对应的多个原始数据包；以及根据获取多个所述原始数据包中每个所述原始数据包的顺序，设置与每个所述原始数据包对应的序号标识，得到与每个所述原始数据包对应的目标数据包。3.根据权利要求1所述的方法，其中，所述确定与所述目标数据包对应的解析单元，包括：基于均衡分配策略，确定与所述目标数据包对应的解析单元。4.根据权利要求3所述的方法，其中，每个所述解析单元包括缓存队列，所述缓存队列用于缓存目标数据包；所述基于均衡分配策略，确定与所述目标数据包对应的解析单元，包括：根据多个所述缓存队列中与每个缓存队列对应的已缓存数据包数量，确定与所述目标数据包对应的解析单元。5.根据权利要求3所述的方法，其中，每个所述解析单元具有对应的单元序号；所述基于均衡分配策略，确定与所述目标数据包对应的解析单元，包括：确定所述目标数据包所包括的序号标识除以解析单元数量得到的取余结果；将与所述取余结果一致的单元序号确定为目标序号；以及将与所述目标序号对应的解析单元确定为与所述目标数据包对应的解析单元。6.根据权利要求1所述的方法，其中，每个所述解析单元包括解析线程和与所述解析线程对应的缓存队列；在所述确定与所述目标数据包对应的解析单元之后，还包括：将所述目标数据包添加至与所述目标数据包对应的解析单元中的缓存队列；所述调用与所述目标数据包对应的解析单元并行解析所述目标数据包，得到与所述目标数据包对应的解析结果，包括：与所述目标数据包对应的解析线程从与所述解析线程对应的缓存队列中获取所述目标数据包；以及所述解析线程并行解析所述目标数据包，得到与所述目标数据包对应的解析结果。7.根据权利要求6所述的方法，其中，所述解析线程并行解析所述目标数据包，得到与所述目标数据包对应的解析结果，包括：所述解析线程调用解析接口并行解析所述目标数据包，得到与所述目标数据包对应的解析结果。2CN113760885A权利要求书2/3页8.根据权利要求1所述的方法，其中，在调用与所述目标数据包对应的解析单元并行解析所述目标数据包，得到与所述目标数据包对应的解析结果之后，还包括：将所述解析结果添加至优先队列；所述按照由多个所述序号标识确定的输出顺序输出多个所述解析结果，包括：调用排序接口处理所述优先队列，使得多个所述解析结果按照由多个所述序号标识确定的输出顺序输出。9.根据权利要求8所述的方法，其中，所述调用排序接口处理所述优先队列，使得多个所述解析结果按照由多个所述序号标识确定的输出顺序输出，包括：从多个所述序号标识中确定初始序号标识；输出与所述初始序号标识对应的解析结果，并调用解析结果移除方法从所述优先