数据系统中的接收器侧数据重复删除.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107092677A(43)申请公布日2017.08.25(21)申请号201710258505.1G06F3/06(2006.01)(22)申请日2011.12.21(30)优先权数据12/981,3932010.12.29US12/981,3972010.12.29US(62)分案原申请数据201180063651.X2011.12.21(71)申请人亚马逊科技公司地址美国内华达(72)发明人J·C·索伦森三世(74)专利代理机构中国国际贸易促进委员会专利商标事务所11038代理人边海梅(51)Int.Cl.G06F17/30(2006.01)权利要求书2页说明书21页附图17页(54)发明名称数据系统中的接收器侧数据重复删除(57)摘要本申请涉及数据系统中的接收器侧数据重复删除。更具体而言，提供用于在接收器处接收来自发送器的上载数据的方法和装置。描述了可减少在从发送器向接收器上载数据时使用的带宽的数据重复删除技术。在该技术中，接收器而不是发送器维持用于先前上载的数据的指纹字典。当发送器具有要被上载的附加的数据时，发送器提取用于数据单位的指纹并将指纹发送给接收器。接收器检查其指纹字典，以确定要被上载的数据单位并且向发送器通知标识的单位，该发送器然后将标识的数据单位发送给接收器。该技术可例如被应用于虚拟化数据存储系统，以减少在上载数据时使用的带宽。CN107092677ACN107092677A权利要求书1/2页1.一种用于数据重复删除的系统，包括：至少一个处理器；和包含程序指令的存储器，其中，所述程序指令可由所述至少一个处理器执行以实现数据存储服务，所述数据存储服务被配置为：将指纹存储到指纹字典，其中，所述指纹字典中的每个指纹唯一地标识存储在所述数据存储服务处的相应的数据单位；通过网络从网关装置接收与数据卷的相应的数据单位对应的至少一个指纹，其中，所述网关装置位于远离所述数据存储服务的客户机站点处，并且其中，所述数据卷是由所述客户机站点处的客户机装置在所述网关装置上生成或者修改的；针对所述至少一个指纹搜索所述指纹字典，以确定所述指纹是否处于所述指纹字典中，其中，确定所述指纹不处于所述指纹字典中指示对应的数据单位要被上载；通过所述网络向所述网关装置发送通过所述搜索确定的要被上载的一个或更多个数据单位的指示；以及通过所述网络从所述网关装置接收所指示的一个或更多个数据单位以存储在所述数据存储服务处。2.如权利要求1所述的系统，其中，每个指纹是相应的数据单位的散列。3.如权利要求2所述的系统，其中，所述散列是根据应用于所述相应的数据单位的加密性强的单向散列函数产生的。4.如权利要求1所述的系统，其中，所述数据存储服务还配置为用与从所述网关装置接收并存储到所述数据存储服务的每个数据单位对应的指纹来更新所述指纹字典。5.如权利要求1所述的系统，其中，所述数据作为数据块存储在数据存储服务处，其中，每个数据块包含两个或更多个数据单位。6.如权利要求1所述的系统，其中，所述程序指令可由所述至少一个处理器执行，以通过所述网络将所述数据存储服务作为虚拟化数据存储向多个顾客提供，其中，存储在所述数据存储中的数据包含用于所述多个顾客中的每一个的顾客数据，其中所述网关装置与所述多个顾客中的一个相关联，并且其中，所述网关装置在本地高速缓存相应的顾客的来自所述数据存储的顾客数据的至少一部分。7.如权利要求1所述的系统，其中，要被上载的一个或更多个数据单位的指示指示了通过所述搜索没有在所述指纹字典中发现其指纹的数据单位。8.一种用于数据重复删除的方法，包括：在数据存储网关处，经由远程的基于网络的虚拟化数据存储服务的多个客户机的客户机的客户机网络，接收来自连接到所述数据存储网关的一个或更多个装置的多个数据单位，所述远程的基于网络的虚拟化数据存储服务通过网络为所述多个客户机提供远程存储服务；在所述数据存储网关处，为所述多个数据单位生成指纹，其中每个指纹唯一地标识所接收的数据单位中的相应的数据单位；经由通信信道，从所述数据存储网关向所述远程的基于网络的虚拟化数据存储服务发送所述指纹；经由所述通信信道，在所述数据存储网关处并且从所述远程的基于网络的虚拟化数据2CN107092677A权利要求书2/2页存储服务接收要经由所述通信信道被上载到所述远程的基于网络的虚拟化数据存储服务的一个或更多个数据单位的指示；以及经由所述通信信道，从所述数据存储网关向所述远程的基于网络的虚拟化数据存储服务发送所指示的一个或更多个数据单位。9.如权利要求8所述的方法，其中，为所述多个数据单位生成指纹包括向所述数据单位应用加密单向散列函数。10.如权利要求8所述的方法，还包括将所述接收的数据单位存储为多个数据块，