基于键值存储的数据压缩的方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111782660A(43)申请公布日2020.10.16(21)申请号202010693451.3(22)申请日2020.07.17(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人孙启明沈智韬贾玮李文(74)专利代理机构北京市一法律师事务所11654代理人刘荣娟(51)Int.Cl.G06F16/22(2019.01)权利要求书2页说明书14页附图7页(54)发明名称基于键值存储的数据压缩的方法和系统(57)摘要本说明书提供的基于键值存储的数据压缩的方法和系统，能够基于服务器端的存储系统中存储的大量数据进行字典训练生成压缩字典，对存储系统中的键值数据进行压缩。因此，对数据的压缩效率更高。同时，本说明书提供的方法和系统可以监控服务器端的数据压缩的整体效率，当数据压缩的整体效率下降时，自动更新压缩字典，从而保证数据压缩的整体效率。CN111782660ACN111782660A权利要求书1/2页1.一种基于键值存储的数据压缩的方法，包括：基于服务器端的存储系统中的多个键值生成当前字典；接收客户端发送的键值对；以及使用所述当前字典对所述键值对中的键值进行数据压缩并存储在所述存储系统中。2.如权利要求1所述的方法，其中，所述存储系统包括缓存存储系统。3.如权利要求1所述的方法，其中，所述基于所述服务器的存储系统中的多个键值生成当前字典，包括：从所述存储系统中的所述多个键值中选取N个键值作为训练数据，所述N为大于1的整数；设置字典训练参数，基于所述字典训练参数和所述训练数据训练字典，得到多个候选字典；以及从所述多个候选字典中选择压缩效率最高的候选字典作为所述当前字典。4.如权利要求3所述的方法，其中，所述基于所述服务器的存储系统中的多个键值生成当前字典，还包括：从所述存储系统中的所述多个键值中选取M个键值作为验证数据，所述M为大于1的整数；所述从所述多个候选字典中选择压缩效率最高的候选字典作为所述当前字典，包括：从所述多个候选字典中选择压缩效率最高的候选字典作为目标字典；基于所述验证数据验证所述目标字典的压缩效率；以及将所述目标字典作为所述当前字典。5.如权利要求4所述的方法，其中，所述M与所述N相等。6.如权利要求1所述的方法，其中，还包括：确定所述存储系统的压缩效率下降，更新所述当前字典。7.如权利要求6所述的方法，其中，所述确定所述存储系统的压缩效率下降，更新所述当前字典，包括：计算所述当前字典在当前时刻对所述存储系统的整体压缩效率；确定所述当前字典在所述当前时刻对所述存储系统的整体压缩效率较上一时刻的整体压缩效率下降超过目标阈值；以及更新所述当前字典。8.如权利要求7所述的方法，其中，所述更新所述当前字典，包括：基于所述当前时刻所述服务器端的存储系统中的多个键值生成候选更新字典；使用所述候选更新字典对所述存储系统中的所述多个键值进行压缩；确定所述候选更新字典对所述存储系统的整体压缩效率高于所述当前字典在所述当前时刻对所述存储系统的整体压缩效率；以及将所述候选更新字典作为所述当前字典。9.如权利要求7所述的方法，其中，所述确定所述存储系统的压缩效率下降，更新所述当前字典，还包括：使用更新前的当前字典对所述存储系统中存储的压缩键值进行解压；以及使用更新后的当前字典对经过所述更新前的当前字典解压的键值进行压缩，得到更新2CN111782660A权利要求书2/2页的压缩键值。10.如权利要求1所述的方法，其中，还包括：读取所述存储系统中的目标键值。11.如权利要求10所述的方法，其中，所述读取所述存储系统中的目标键值，包括：接收目标客户端发送的对所述目标键值的读取请求，所述客户端包括所述目标客户端，所述多个键值包括所述目标键值；使用所述当前字典对所述目标键值应的压缩键值进行解压，得到所述目标键值；以及将所述目标键值发送至所述目标客户端。12.一种基于键值存储的数据压缩的系统，包括：至少一个存储介质，包括至少一个指令集，用于基于键值存储的数据压缩；以及至少一个处理器，同所述至少一个存储介质通讯连接，其中，当所述系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行权利要求1-11中任一项所述的基于键值存储的数据压缩的方法。3CN111782660A说明书1/14页基于键值存储的数据压缩的方法和系统技术领域[0001]本说明书涉及存储技术领域，尤其涉及一种基于键值存储的数据压缩的方法和系统。背景技术[0002]随着计算机技术及网络技术的高速发展，人们的日常生活中出现了越来越多的数据和信息，需要存储和保留，因此出现了数据库系统。数据库系统可以实现数据库