日志数据压缩处理方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760839A(43)申请公布日2021.12.07(21)申请号202011339912.3G06F16/16(2019.01)(22)申请日2020.11.25(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人李汶良(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06F16/174(2019.01)G06F16/18(2019.01)G06F16/14(2019.01)权利要求书3页说明书14页附图5页(54)发明名称日志数据压缩处理方法、装置、电子设备和存储介质(57)摘要本发明实施例公开了一种日志数据压缩处理方法、装置、电子设备和存储介质，该方法包括：获取待处理的第一日志数据中的每个第一属性名称；根据当前存储的属性名称与压缩名称之间的映射关系和第一日志数据中的每个第一属性名称，确定每个第一属性名称对应的第一压缩名称，其中，第一压缩名称的字符数量小于第一属性名称的字符数量；将第一日志数据中的每个第一属性名称替换为相应的第一压缩名称，获得压缩处理后的第二日志数据。通过本发明实施例的技术方案，可以在不破坏日志数据的文本结构性的情况下，大大降低日志数据量。CN113760839ACN113760839A权利要求书1/3页1.一种日志数据压缩处理方法，其特征在于，包括：获取待处理的第一日志数据中的每个第一属性名称；根据当前存储的属性名称与压缩名称之间的映射关系和所述第一日志数据中的每个第一属性名称，确定每个所述第一属性名称对应的第一压缩名称，其中，所述第一压缩名称的字符数量小于所述第一属性名称的字符数量；将所述第一日志数据中的每个所述第一属性名称替换为相应的所述第一压缩名称，获得压缩处理后的第二日志数据。2.根据权利要求1所述的方法，其特征在于，根据当前存储的属性名称与压缩名称之间的映射关系和所述第一日志数据中的每个第一属性名称，确定每个所述第一属性名称对应的第一压缩名称，包括：检测当前存储的属性名称与压缩名称之间的映射关系中是否存在所述第一日志数据中的每个第一属性名称对应的压缩名称；若是，则将第一属性名称对应的压缩名称确定为该第一属性名称对应的第一压缩名称；若否，则基于预设映射方式，确定该第一属性名称对应的第一压缩名称，并将该第一属性名称与相应的第一压缩名称存储至所述映射关系中，以更新所述映射关系。3.根据权利要求2所述的方法，其特征在于，基于预设映射方式，确定该第一属性名称对应的第一压缩名称，包括：获取当前已使用的压缩名称的当前数量；若检测到所述当前数量小于第一预设数量，则利用一位预设字符，生成该第一属性名称对应的第一压缩名称；若检测到所述当前数量大于或等于第一预设数量，且小于第二预设数量，则利用两位预设字符，生成该第一属性名称对应的第一压缩名称；其中，所述第一预设数量是指利用一位预设字符可生成的压缩名称的总数量；所述第二预设数量是指利用两位预设字符可生成的压缩名称的总数量。4.根据权利要求3所述的方法，其特征在于，利用一位预设字符，生成该第一属性名称对应的第一压缩名称，包括：基于第一位预设字符映射顺序，根据所述当前数量确定该第一属性名称对应的目标预设字符，作为相应的第一压缩名称。5.根据权利要求4所述的方法，其特征在于，基于第一位预设字符映射顺序，根据所述当前数量确定该第一属性名称对应的目标预设字符，作为相应的第一压缩名称，包括：按照第一位可使用的预设字符对应的ASCII码数值从小到大的排列顺序，根据所述当前数量确定该第一属性名称对应的目标ASCII码数值；将所述目标ASCII码数值对应的目标预设字符，确定为该第一属性名称对应的第一压缩名称。6.根据权利要求3所述的方法，其特征在于，利用两位预设字符，生成该第一属性名称对应的第一压缩名称，包括：根据第三预设数量和第四预设数量，对所述当前数量进行处理，确定第一位参考数值和第二位参考数值，其中，所述第三预设数量是指第一位可使用的预设字符的数量，所述第2CN113760839A权利要求书2/3页四预设数量是指第二位可使用的预设字符的数量；基于第一位预设字符映射顺序，根据所述第一位参考数值确定该第一属性名称对应的第一位预设字符；基于第二位预设字符映射顺序，根据所述第二位参考数值确定该第一属性名称对应的第二位预设字符；将所述第一位预设字符和所述第二位预设字符进行拼接，获得该第一属性名称对应的第一压缩名称。7.根据权利要求6所述的方法，其特征在于，根据第三预设数量和第四预设数量，对所述当前数量进行处理，确定第一位参考数值和第二位参考数值，包括：