预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共25页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114968953A(43)申请公布日2022.08.30(21)申请号202210544921.9(22)申请日2022.05.19(71)申请人招商银行股份有限公司地址518000广东省深圳市福田区深南大道7088招商银行大厦(72)发明人林力劳晓智(74)专利代理机构深圳市世纪恒程知识产权代理事务所44287专利代理师刘锡滨(51)Int.Cl.G06F16/174(2019.01)G06F3/06(2006.01)G06F16/18(2019.01)权利要求书2页说明书17页附图5页(54)发明名称日志的存储检索方法、系统、终端设备及介质(57)摘要本发明公开了一种日志的存储检索方法、系统、终端设备以及计算机可读存储介质,该日志的存储检索方法的步骤包括:接收日志数据,并将所述日志数据并行压缩写入预设的磁盘空间;接收用户发送的搜索文本,并确定所述搜索文本对应的目标搜索文本;根据预设搜索时间范围从所述磁盘空间中确定待搜索文件列表,并从所述待搜索文件列表中解压缩读取与所述目标搜索文本匹配的目标日志数据,将所述目标日志数据存入预设结果集。本发明能够在基于节约存储和检索成本的基础上,实现针对千万级吞吐量日志的高效存储与检索。CN114968953ACN114968953A权利要求书1/2页1.一种日志的存储检索方法,其特征在于,所述存储检索方法包括以下步骤:接收日志数据,并将所述日志数据并行压缩写入预设的磁盘空间;接收用户发送的搜索文本,并确定所述搜索文本对应的目标搜索文本;根据预设搜索时间范围从所述磁盘空间中确定待搜索文件列表,并从所述待搜索文件列表中解压缩读取与所述目标搜索文本匹配的目标日志数据,将所述目标日志数据存入预设结果集。2.如权利要求1所述的日志的存储检索方法,其特征在于,所述将所述日志数据并行压缩写入预设的磁盘空间的步骤,包括:将所述日志数据暂存至内存缓存区,并将所述内存缓存区中的日志数据并行压缩写入预设的磁盘空间。3.如权利要求2所述的日志的存储检索方法,其特征在于,所述将所述日志数据暂存至内存缓存区,并将所述内存缓存区中的日志数据并行压缩写入预设的磁盘空间的步骤,包括:所述接收日志数据,并将所述日志数据暂存至内存缓存区的步骤,包括:通过日志解析模块,接收日志数据,将所述日志数据进行解析得到字符串形式的日志数据,并将所述字符串形式的日志数据发送至日志压缩存储模块;通过所述日志压缩存储模块提取所述字符串形式的日志数据中的日志类型、应用名称和日志时间戳,并根据所述日志类型、所述应用名称和所述日志时间戳将所述日志数据分类暂存至所述内存缓存区;在所述内存缓存区中的日志数据数量达到预设数量阈值或者将所述内存缓存区按照预设刷新频率进行缓存刷新时,通过所述日志压缩存储模块,将所述内存缓存区中的日志数据推送至预设压缩队列;按照预设日志写入规则将所述预设压缩队列中的日志数据以并行压缩方式写入所述磁盘空间。4.如权利要求3所述的日志的存储检索方法,其特征在于,在所述接收日志数据,并将所述日志数据并行压缩写入预设的磁盘空间的步骤之前,还包括:通过网关模块建立所述日志解析模块和所述日志压缩存储模块之间的连接。5.如权利要求4所述的日志的存储检索方法,其特征在于,所述接收用户发送的搜索文本,并确定所述搜索文本对应的目标搜索文本的步骤,包括:通过所述网关模块,接收用户发送的搜索文本,并针对所述搜索文本进行文本语法校验和文本运算符识别;对文本语法校验和文本运算符识别后的搜索文本构建搜索树和逻辑匹配字符串得到目标搜索文本。6.如权利要求1所述的日志的存储检索方法,其特征在于,所述根据预设搜索时间范围从所述磁盘空间中确定待搜索文件列表的步骤,包括:根据所述磁盘空间中日志的文件名确定日志的时间范围,通过查询模块,将所述时间范围与所述预设搜索时间范围进行交集运算得到目标时间范围;从磁盘空间中获取所述目标时间范围对应的日志数据得到待搜索文件列表。7.如权利要求6所述的日志的存储检索方法,其特征在于,所述从所述待搜索文件列表2CN114968953A权利要求书2/2页中读取与所述目标搜索文本匹配的目标日志数据的步骤,包括:通过所述查询模块,针对所述待搜索文件列表中进行多线程并行解压得到数据字符流,并将所述数据字符流存入对应的缓存;确定未超出所述预设搜索时间范围的处于所述缓存中的数据字符流,并对所述数据字符流进行顺序读取;将当前读取字符与预设指针在目标搜索文件对应搜索树中所指向的字符组进行对比;若是当前读取字符与所述字符组任一字符匹配,则将当前读取的字符暂存至预设的日志缓存中,同时,将所述预设指针指向与所述当前读取字符匹配的所述字符组的下一字符;确定所述日志缓存中的目标单词,并在所述目标单词