使用多个散列引擎对数据集进行散列.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114840501A(43)申请公布日2022.08.02(21)申请号202210108701.1(22)申请日2022.01.28(30)优先权数据17/165,9152021.02.02US(71)申请人迈凌有限公司地址美国加利福尼亚州(72)发明人M·A·莫兰M·R·哈姆(74)专利代理机构广州嘉权专利商标事务所有限公司44205专利代理师韩茂(51)Int.Cl.G06F16/215(2019.01)G06F16/22(2019.01)G06F3/06(2006.01)权利要求书2页说明书11页附图7页(54)发明名称使用多个散列引擎对数据集进行散列(57)摘要本发明公开了一种用于通过以下方法跨数据集计算指纹的系统，该方法包括：识别要散列的数据集，数据集包括数据块集；由第一散列引擎为数据集内的数据块集中的每一个数据块生成第一散列；以及由第二散列引擎为数据集内的数据块集中的每一个数据块生成第二散列。CN114840501ACN114840501A权利要求书1/2页1.一种方法，包括：识别要散列的数据集，所述数据集包括数据块集；由第一散列引擎为所述数据集内的所述数据块集中的每一个数据块生成第一散列；以及由第二散列引擎为所述数据集内的所述数据块集中的每一个数据块生成第二散列。2.根据权利要求1所述的方法，还包括基于与所述数据集内的特定数据块相关联的特定第一散列或与所述特定数据块相关联的特定第二散列来对所述特定数据块进行重复数据删除。3.根据权利要求1所述的方法，还包括基于压缩块大小对所述数据集进行压缩。4.根据权利要求1所述的方法，还包括接收从可用散列引擎集中对所述第一散列引擎和所述第二散列引擎的选择。5.根据权利要求1所述的方法，其中，所述第一散列引擎配置成使用第一散列算法生成所述第一散列，其中所述第二散列引擎配置成使用第二散列算法生成所述第二散列。6.根据权利要求1所述的方法，其中，所述第一散列引擎配置成基于第一散列块大小生成所述第一散列，其中所述第二散列引擎配置成基于第二散列块大小生成所述第二散列。7.根据权利要求1所述的方法，其中，所述第一散列引擎配置成在所述数据集的第一位开始生成所述第一散列，其中所述第二散列引擎配置成在所述数据集的第二位生成所述第二散列。8.根据权利要求7所述的方法，其中，所述数据集的所述第一位是位零，其中所述数据集的所述第二位是基于与所述第一位的偏移来确定的。9.一种系统，包括：第一散列引擎，用于基于第一散列块配置为数据集内的数据块集中的每一个数据块生成第一散列；以及第二散列引擎，用于基于第二散列块配置，为所述数据集内的所述数据块集中的每一个数据块生成第二散列，其中所述第一散列和所述第二散列在单程中生成。10.根据权利要求9所述的系统，还包括重复数据删除管理器，所述重复数据删除管理器用于基于与数据集内的特定数据块相关联的特定第一散列或与所述特定数据块相关联的特定第二散列来对所述特定数据块进行重复数据删除。11.根据权利要求9所述的系统，还包括压缩管理器，所述压缩管理器用于基于压缩块大小对所述数据集进行压缩。12.根据权利要求9所述的系统，其中，所述第一散列引擎配置成使用第一散列算法生成所述第一散列，其中所述第二散列引擎配置成使用第二散列算法生成所述第二散列。13.根据权利要求9所述的系统，其中，所述第一散列引擎配置成基于第一散列块大小生成所述第一散列，其中所述第二散列引擎配置成基于第二散列块大小生成所述第二散列。14.根据权利要求9所述的系统，其中，所述第一散列引擎配置成在所述数据集的第一位开始生成所述第一散列，其中所述第二散列引擎配置成在所述数据集的第二位生成所述第二散列。15.根据权利要求14所述的系统，其中，所述数据集的所述第一位是位零，其中所述数2CN114840501A权利要求书2/2页据集的所述第二位是基于与所述第一位的偏移来确定的。16.一种系统，包括：重复数据删除管理器，用于接收要进行重复数据删除的数据集；第一散列引擎，用于基于第一散列块配置为所述数据集内的数据块集中的每一个数据块生成第一散列；第二散列引擎，用于基于第二散列块配置为所述数据集内的所述数据块集中的每一个数据块生成第二散列，其中所述第一散列和所述第二散列在单程中生成，其中基于所述第一散列和所述第二散列对所述数据集进行重复数据删除；以及压缩管理器，用于基于压缩块大小对数据集进行压缩，而不对所述数据集中的重复数据进行压缩。17.根据权利要求16所述的系统，其中，通过基于与数据集内的特定数据块相关联的特定第一散列或与所述特定数据块相关联的特定第二散列移除所述特定数据块来对所述数据集进行重复数据删除。18.根据权利要求16所述的系统，其中，所述第一散列引擎配置