预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共13页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111723063A(43)申请公布日2020.09.29(21)申请号201910202731.7(22)申请日2019.03.18(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人王晶晶岳黎明(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张一军伊明明(51)Int.Cl.G06F16/18(2019.01)G06F16/25(2019.01)权利要求书2页说明书7页附图3页(54)发明名称一种离线日志数据处理的方法和装置(57)摘要本发明公开了一种离线日志数据处理的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:抽取离线日志数据,并获取离线日志数据的属性信息;根据所述离线日志数据的属性信息,从构建的数据集合中确定所述离线日志数据的目标数据集合;所述构建的数据集合为根据预设的分类属性构建的;将所述离线日志数据存入所述目标数据集合。该方法能够快速的完成数据抽取和数据解析,并降低了任务的高并发,进而释放更多资源,降低了机器负载。CN111723063ACN111723063A权利要求书1/2页1.一种离线日志数据处理的方法,其特征在于,包括:抽取离线日志数据,并获取离线日志数据的属性信息;根据所述离线日志数据的属性信息,从构建的数据集合中确定所述离线日志数据的目标数据集合;所述构建的数据集合为根据预设的分类属性构建的;将所述离线日志数据存入所述目标数据集合。2.根据权利要求1所述的方法,其特征在于,所述预设的分类属性为时间单元,所述属性信息中至少包括时间信息;根据所述离线日志数据的属性信息,从构建的数据集合中确定所述离线日志数据的目标数据集合的步骤包括:根据所述离线日志数据的时间信息,确定当前时间单元数据集合,并确定与当前时间单元数据集合相邻的前一时间单元数据集合;确定所述当前时间单元数据集合与前一时间单元数据集合中重复的日志数据;去除所述当前时间单元数据集合中所述重复的日志数据,将该当前时间单元数据集合确定为目标数据集合。3.根据权利要求2所述的方法,其特征在于,确定所述当前时间单元数据集合与前一时间单元数据集合中重复的日志数据的步骤包括:确定所述当前时间单元数据集合与前一时间单元数据集合中日志数据的会话标识;确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识,所述相同的会话标识对应的日志数据为重复的日志数据。4.根据权利要求3所述的方法,其特征在于,确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识的步骤包括:基于BloomFilter技术,构建所述当前时间单元数据集合与前一时间单元数据集合的会话标识集合;根据所述会话标识集合,确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识。5.根据权利要求1所述的方法,其特征在于,所述预设的分类属性为安全级别。6.一种离线日志数据处理的装置,其特征在于,包括:数据获取模块,用于抽取离线日志数据,并获取离线日志数据的属性信息;集合确定模块,用于根据所述离线日志数据的属性信息,从构建的数据集合中确定所述离线日志数据的目标数据集合;所述构建的数据集合为根据预设的分类属性构建的;存储模块,用于将所述离线日志数据存入所述目标数据集合。7.根据权利要求6所述的装置,其特征在于,所述集合确定模块还用于,根据预设的时间单元和所述离线日志数据的时间信息,确定当前时间单元数据集合,并确定与当前时间单元数据集合相邻的前一时间单元数据集合;确定所述当前时间单元数据集合与前一时间单元数据集合中重复的日志数据;去除所述当前时间单元数据集合中所述重复的日志数据,将该当前时间单元数据集合确定为目标数据集合;所述预设的分类属性为时间单元,所述属性信息中至少包括时间信息。8.根据权利要求7所述的装置,其特征在于,所述集合确定模块还用于,确定所述当前时间单元数据集合与前一时间单元数据集合中日志数据的会话标识;以及,确定所述当前2CN111723063A权利要求书2/2页时间单元数据集合与前一时间单元数据集合相同的会话标识,所述相同的会话标识对应的日志数据为重复的日志数据。9.根据权利要求8所述的装置,其特征在于,所述集合确定模块还用于,基于BloomFilter技术,构建所述当前时间单元数据集合与前一时间单元数据集合的会话标识集合;根据所述会话标识集合,确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识。10.一种电子设备,其特征在于,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要