日志数据处理方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115391292A(43)申请公布日2022.11.25(21)申请号202211113966.7(22)申请日2022.09.14(71)申请人中国农业银行股份有限公司地址100005北京市东城区建国门内大街69号(72)发明人毋与伦谢俊宋绍磊张子奇(74)专利代理机构北京品源专利代理有限公司11332专利代理师倪焱(51)Int.Cl.G06F16/17(2019.01)G06F16/16(2019.01)G06F16/18(2019.01)权利要求书2页说明书9页附图3页(54)发明名称日志数据处理方法、装置、设备及存储介质(57)摘要本发明公开了一种日志数据处理方法、装置、设备及存储介质。该方法包括：获取微服务器在处理至少一个请求任务过程中产生的日志数据；其中，日志数据带有执行状态标识；通过预设的消息队列存储执行不同行为类别下的日志数据，从消息队列中获取日志数据作为待处理数据；采用与待处理数据的行为类别相应的调度线程，对待处理数据进行处理，得到待存储日志数据；根据待存储日志数据对应的执行状态标识，对待存储日志数据进行存储和/或重加载处理。本发明实施例实现了对日志数据的实时处理，提高了日志数据处理效率。CN115391292ACN115391292A权利要求书1/2页1.一种日志数据处理方法，其特征在于，包括：获取微服务器在处理至少一个请求任务过程中产生的日志数据；其中，所述日志数据带有执行状态标识；通过预设的消息队列存储执行不同行为类别下的日志数据，从所述消息队列中获取所述日志数据作为待处理数据；采用与所述待处理数据的行为类别相应的调度线程，对所述待处理数据进行处理，得到待存储日志数据；根据所述待存储日志数据对应的执行状态标识，对所述待存储日志数据进行存储和/或重加载处理。2.根据权利要求1所述的方法，其特征在于，所述行为类别包括存储行为和运算行为；相应的，所述采用与所述待处理数据的行为类别相应的调度线程，对所述待处理数据进行处理，得到待存储日志数据，包括：采用预设的第一调度线程，对执行所述存储行为的待处理数据进行处理，得到第一待存储日志数据；以及，采用预设的第二调度线程，对执行所述运算行为的待处理数据进行处理，得到第二待存储日志数据；生成包括所述第一待存储日志数据和所述第二待存储日志数据的待存储日志数据。3.根据权利要求2所述的方法，其特征在于，所述采用预设的第一调度线程，对执行所述存储行为的待处理数据进行处理，得到第一待存储日志数据，包括：构建用于处理所述执行存储行为的待处理数据的线程池；采用所述第一调度线程，将所述执行存储行为的待处理数据传输至所述线程池中，并在所述线程池中处理所述执行存储行为的待处理数据，得到第一待存储日志数据。4.根据权利要求3所述的方法，其特征在于，所述构建用于处理所述执行存储行为的待处理数据的线程池，包括：根据各所述请求任务的任务量和任务花费时间，构建用于处理所述执行存储行为的待处理数据的线程池。5.根据权利要求3所述的方法，其特征在于，在所述得到第一待存储日志数据之后，还包括；根据所述线程池对所述执行存储行为的待处理数据的处理结果，更新所述第一待存储日志数据的执行状态标识；所述执行状态标识包括未消费标识和已消费标识；相应的，所述根据所述待存储日志数据对应的执行状态标识，对所述待存储日志数据进行存储和/或重加载处理，包括：若所述第一待存储日志数据对应的执行状态标识为已消费标识，则对所述第一待存储日志数据进行存储处理；若所述第一待存储日志数据对应的执行状态标识为未消费标识，则对所述第一待存储日志数据进行重加载处理。6.根据权利要求2所述的方法，其特征在于，所述采用预设的第二调度线程，对执行所述运算行为的待处理数据进行处理，得到第二待存储日志数据，包括：采用所述第二调度线程，基于预设模型，对执行所述运算行为的待处理数据进行流处2CN115391292A权利要求书2/2页理，得到第二待存储日志数据；根据对执行所述运算行为的待处理数据进行处理得到的处理结果，更新所述第二待存储日志数据的执行状态标识。7.根据权利要求1‑6任一项所述的方法，其特征在于，在所述获取微服务器在处理至少一个请求任务过程中产生的日志数据之后，还包括：识别所述日志数据中的敏感信息；对所述敏感信息进行加密处理，得到加密后的日志数据。8.一种日志数据处理装置，其特征在于，包括：日志数据获取模块，用于获取微服务器在处理至少一个请求任务过程中产生的日志数据；其中，所述日志数据带有执行状态标识；待处理数据获取模块，用于通过预设的消息队列存储执行不同行为类别下的日志数据，从所述消息队列中获取所述日志数据作为待处理数据；待处理数据处理模块，用于采用与所述待处理数据的行为类别相