数据处理方法、装置、计算设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111552669A(43)申请公布日2020.08.18(21)申请号202010339805.4(22)申请日2020.04.26(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人申武(74)专利代理机构北京同达信恒知识产权代理有限公司11291代理人王英(51)Int.Cl.G06F16/174(2019.01)G06F16/17(2019.01)权利要求书2页说明书13页附图5页(54)发明名称数据处理方法、装置、计算设备和存储介质(57)摘要本公开公开了一种数据处理方法、装置、计算设备和存储介质。用于解决相关技术中解决单纯的依赖扩展缓存空间大不能很好的满足不断增长的数据需求的问题。本公开实施例，选择了合适的压缩算法对数据进行压缩，由于不同数据可允许采用不同的压缩算法进行压缩，相比简单的购买硬件扩展存储系统，压缩数据能够提高存储系统的利用率。此外，存储系统同一时间可以同时存储不同压缩算法压缩的数据，使得存储系统对不同结构的数据采用的压缩算法，不同时期的数据采用的压缩算法均能够兼容，以此提高压缩效果进一步调高存储系统的对不同数据的需求，提高存储系统的利用率。CN111552669ACN111552669A权利要求书1/2页1.一种数据处理方法，其特征在于，所述方法包括：接收终端设备发送的目标数据的获取请求；响应所述获取请求，从存储系统中读取所述目标数据的压缩数据以及所述压缩数据对应的算法标识；其中，所述压缩数据是预先采用所述算法标识对应的压缩算法对所述目标数据进行压缩操作后得到的；将所述压缩数据及对应的算法标识发送给所述终端设备，以使所述终端设备采用所述算法标识对应的压缩算法对所述压缩数据进行解压缩操作。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据以下方法确定用于压缩所述目标数据的压缩算法：采集多个样本数据；对多个待测试压缩算法中的任意压缩算法分别执行：对各样本数据采用所述待测试压缩算法进行压缩操作，得到各样本数据的压缩数据；并，确定所述待测试压缩算法的测试指标；所述测试指标包括以下中的至少一种：样本数据和样本数据的压缩数据的压缩比、单位时间内对指定数量的样本数据的压缩数据的解压缩次数、执行指定次数的解压缩操作的处理器占用率；根据各待测试压缩算法的测试指标，选择出用于压缩所述目标数据的压缩算法。3.根据权利要求2所述的方法，其特征在于，所述根据各待测试压缩算法的测试指标，选择出用于压缩所述目标数据的压缩算法之后，所述方法还包括：当满足测试条件时，重新对所述多个待测试压缩算法进行测试并选择出新的压缩算法；其中，所述测试条件包括以下中的至少一种：到达重新测试周期、指定数据的数据结构发生变化，所述指定数据包括存储在所述存储系统中的数据和/或待存储到所述存储系统的数据。4.根据权利要求2-3中任一所述的方法，其特征在于，若选择出的用于压缩所述目标数据的压缩算法为带字典的压缩算法时，所述方法还包括：采集训练样本；对所述训练样本进行训练得到所述带字典的压缩算法的新的字典文件；并，根据所述新的字典文件更新所述带字典的压缩算法。5.根据权利要求2-3中任一所述的方法，其特征在于，当所述测试指标中包括所述压缩比、所述解压缩次数以及所述处理器占用率时，所述根据各待测试压缩算法的测试指标，选择出用于压缩所述目标数据的压缩算法，包括：筛选出处理器占用率小于指定占用率的压缩算法；从筛选出的压缩算法中选择出压缩比和解压缩次数的加权求和值最大的压缩算法；或者，根据设定关系确定各压缩算法的质量指标值，其中，所述质量指标值与压缩比成正比、与解压缩次数成正比且与处理器占用率成反比；并，选择质量指标值最高的压缩算法。6.一种数据处理方法，其特征在于，所述方法包括：发送目标数据的获取请求给服务器；2CN111552669A权利要求书2/2页接收所述服务器返回的所述目标数据的压缩数据及对应的算法标识；采用所述算法标识对应的压缩算法对所述压缩数据进行解压缩操作。7.一种数据处理装置，其特征在于，所述装置包括：接收模块，被配置为执行接收终端设备发送的目标数据的获取请求；响应模块，被配置为执行响应所述获取请求，从存储系统中读取所述目标数据的压缩数据以及所述压缩数据对应的算法标识；其中，所述压缩数据是预先采用所述算法标识对应的压缩算法对所述目标数据进行压缩操作后得到的；发送模块，被配置为执行将所述压缩数据及对应的算法标识发送给所述终端设备，以使所述终端设备采用所述算法标识对应的压缩算法对所述压缩数据进行解压缩操作。8.一种数据处理装置，其特征在于，所述装置包括：获取请求发送模块，被配置为执行发送目标数据的获取