日志采集方法、装置、设备、存储介质和程序产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114238260A(43)申请公布日2022.03.25(21)申请号202111572000.5(22)申请日2021.12.21(71)申请人中国建设银行股份有限公司地址100033北京市西城区金融大街25号(72)发明人王潜(74)专利代理机构中科专利商标代理有限责任公司11021代理人熊文鑫(51)Int.Cl.G06F16/18(2019.01)G06F9/46(2006.01)G06F12/0877(2016.01)权利要求书2页说明书12页附图5页(54)发明名称日志采集方法、装置、设备、存储介质和程序产品(57)摘要本公开提供了一种日志采集方法，可以应用于金融技术领域或其它技术领域。该日志采集方法包括：获取待采集数据集，待采集数据集中包括至少一种日志类型的日志数据；对于每个日志类型，从限流器中获取该日志类型的第一数据量，第一数据量包括：限流器当前已经采集到的该日志类型的日志数据的数据量；当任意一个日志类型的第一数据量满足第一预设条件时，从待采集数据集中剔除该日志类型的日志数据，以得到目标数据集；采集目标数据集中的日志数据，并发送至缓存通道。本公开还提供了一种日志采集装置、设备、存储介质和程序产品。CN114238260ACN114238260A权利要求书1/2页1.一种日志采集方法，其特征在于，应用于采集源端，包括：获取待采集数据集，所述待采集数据集中包括至少一种日志类型的日志数据；对于每个所述日志类型，从限流器中获取该日志类型的第一数据量，所述第一数据量包括：限流器当前已经采集到的该日志类型的日志数据的数据量；当任意一个所述日志类型的所述第一数据量满足第一预设条件时，从待采集数据集中剔除该日志类型的日志数据，以得到目标数据集；采集所述目标数据集中的日志数据，并发送至缓存通道。2.根据权利要求1所述日志采集方法，其特征在于，所述采集所述目标数据集中的日志数据，包括：根据采集到的每个所述日志数据的大小以及每个所述日志数据的日志类型，对限流器中的至少一个日志类型的所述第一数据量进行更新。3.根据权利要求1所述日志采集方法，其特征在于，所述从待采集数据集中剔除该日志类型的日志数据，包括：获取压制器中该日志类型的第一时间，所述第一时间包括上一次针对该日志类型发送超限日志信息的时间；当所述第一时间与当前时间的间隔满足第二预设条件时，根据该日志类型发送超限日志信息。4.根据权利要求3所述日志采集方法，其特征在于，所述压制器中记录有多个日志类型和每个日志类型的第一时间；所述日志采集方法还包括：对于所述压制器中的每个日志类型，按照第一时间间隔，周期性地重置该日志类型的第一时间。5.根据权利要求4所述日志采集方法，其特征在于，所述限流器中记录有多个日志类型和每个日志类型的第一数据量；所述日志采集方法还包括：对于所述限流器中的每个日志类型，按照第二时间间隔，周期性地重置该日志类型的第一数据量；其中，所述第一时间间隔的时长与所述第二时间间隔的时长相同。6.根据权利要求5所述日志采集方法，其特征在于，所述获取待采集数据集，包括：当待采集日志目录刷新时，根据待采集目录获取待采集的日志数据，以构成所述待采集数据集；其中，所述第一时间间隔的时长和所述第二时间间隔的时长均大于所述待采集日志目录的刷新间隔的时长。7.根据权利要求6所述日志采集方法，其特征在于，所述日志采集方法还包括：剔除所述目标数据集中的无效日志数据，所述无效日志数据包括达到预设时长后仍未被采集的日志数据；剔除所述限流器中与所述无效日志数据相应的日志类型；和/或，剔除所述压制器中与所述无效日志数据相应的日志类型；其中，所述第一时间间隔的时长和所述第二时间间隔的时长均小于所述预设时长。8.根据权利要求1所述日志采集方法，其特征在于，所述限流器包括多个限流组件，每个限流组件记录至少一个日志类型的所述第一数据量，不同的所述限流组件记录的所述日2CN114238260A权利要求书2/2页志类型不同。9.一种日志采集装置，其特征在于，应用于采集源端，包括：第一获取模块，用于获取待采集数据集，所述待采集数据集中包括至少一种日志类型的日志数据；第二获取模块，用于对于每个所述日志类型，从限流器中获取该日志类型的第一数据量，所述第一数据量包括：限流器当前已经采集到的该日志类型的日志数据的数据量；处理模块，用于当任意一个所述日志类型的所述第一数据量满足第一预设条件时，从待采集数据集中剔除该日志类型的日志数据，以得到目标数据集；采集模块，用于采集所述目标数据集中的日志数据，并发送至缓存通道。10.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个