内容提供者
一种日志数据处理方法、装置、电子设备和存储介质.pdf
2023-06-28
10金币
794KB
21页
一条****涛k
实名认证
内容提供者
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10
亲，该文档总共21页，到这已经超出免费预览范围，如果喜欢就直接下载吧～
相关资料
一种日志数据处理方法、装置、电子设备和存储介质.pdf
本发明实施例公开了一种日志数据处理方法、装置、电子设备和存储介质，日志数据处理方法包括：将采集的日志数据拆解成通用数据和日志内容；为通用数据创建原始日志对象，并将通用数据写入原始日志对象，得到目标日志对象；基于日志内容创建编码词条；将目标日志对象存入通用日志数据处理区，并将编码词条存入日志内容存储区。本发明实施例中，可以对日志数据的通用数据和日志内容进行分区存储，提高了日志数据的存储效率。对日志内容进行编码，可以去除日志内容中的无效字符，还可以用索引号代替日志内容，减小了日志内容占用的存储空间，提高了智能
2023-06-28
10
794KB
日志数据处理方法、装置、存储介质与电子设备.pdf
本公开提供一种日志数据处理方法、装置、存储介质与电子设备，涉及数据处理技术领域。其中，所述日志数据处理方法包括：根据待处理的日志数据中的事件标识，将所述日志数据划分成一个或多个一级数据片段；将所述一级数据片段划分成一个或多个二级数据片段；根据所述二级数据片段中所述事件标识所属的区间，确定所述二级数据片段的位图，以得到所述二级数据片段的索引信息；所述位图中的每一位对应一个区间。本公开在一定程度上降低了日志数据的存储成本。
2023-06-14
10
931KB
日志数据处理方法、装置、电子设备及存储介质.pdf
本申请实施例公开了一种日志数据处理方法、装置、电子设备及存储介质，该方法包括：获取通过日志采集模块采集的系统日志数据；采用与所述系统日志数据所属的数据类型匹配的数据压缩方式，对所述系统日志数据进行数据压缩处理，得到目标日志数据。上述的日志数据处理方法、装置、电子设备及存储介质，能够减少日志数据的数据量，以减少日志数据占用的存储空间，且提高了对日志数据进行数据压缩的效果。
2023-07-25
10
710KB
一种存储数据处理方法、装置、电子设备和存储介质.pdf
本发明实施例提供了一种存储数据处理方法、装置、电子设备和存储介质，涉及数据存储传输技术领域；包括获取业务数据，业务数据包括业务场景和传输总量；依据业务场景确定存储路径；存储路径包括与服务器至存储级联对应的第一存储子地址、与服务器至交换机至存储级联对应的第二存储子地址和与服务器至直联外置磁盘阵列级联对应的第三存储子地址；检测存储拓扑结构的实时传输速率；基于实时传输速率，将传输总量划分为第一传输量，第二传输量和第三传输量，基于第一存储子地址对第一传输量进行存储，基于第二存储子地址对第二传输量进行存储，基于第三
2023-06-03
10
1.2MB
一种日志脱敏方法、装置、电子设备和存储介质.pdf
本申请实施例提供一种日志脱敏方法、装置、电子设备和存储介质,其中,方法包括:获取日志文件;根据所述日志文件生成哈希码;将所述日志文件进行脱敏,得到脱敏后的日志文件;以所述日志文件的哈希码为索引信息将所述脱敏后的日志文件进行存储。实施上述实施例,日志文件的哈希码为索引信息将日志文件进行存储,可以方便后续对日志文件进行检索,也可以快速地判断日志文件是不是已经被脱敏处理过。
2023-04-26
10
566KB