基于请求合并的云数据去重方法、装置和云服务器.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114003560A(43)申请公布日2022.02.01(21)申请号202010963332.5(22)申请日2020.09.14(71)申请人国际关系学院地址100091北京市海淀区坡上村12号国际关系学院(72)发明人唐鑫周琳娜胡冰蔚狄宏(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张大威(51)Int.Cl.G06F16/13(2019.01)G06F16/11(2019.01)G06F16/174(2019.01)G06F16/172(2019.01)权利要求书2页说明书10页附图5页(54)发明名称基于请求合并的云数据去重方法、装置和云服务器(57)摘要本发明公开了一种基于请求合并的云数据去重方法、装置和云服务器，该方法包括：接收用户发送的去重查询请求，其中，去重查询请求包括目标文件的索引值；将索引值划分成多个索引块，多个索引块包括公共块、敏感块和附加块；根据公共块确定对应的目标文件；当预设时间内指向同一目标文件的去重查询请求的数量到达预设阈值时，确定指向同一目标文件的多个目标索引值；确定每个目标索引值对应的附加块的数量，并将包含相同附加块数量的所有目标索引值生成一个索引值集合；将包含相同附加块的索引值集合中的目标索引值生成一个相同附加块去重索引值集合；以及根据相同附加块去重索引值集合中目标索引值的附加块，公共块和敏感块的异或值生成去重响应。CN114003560ACN114003560A权利要求书1/2页1.一种基于请求合并的云数据去重方法，其特征在于，包括以下步骤：接收用户发送的去重查询请求，其中，所述去重查询请求包括目标文件的索引值；将所述索引值划分成多个索引块，其中，所述多个索引块包括公共块、敏感块和附加块；根据所述公共块确定对应的目标文件；当预设时间内指向同一目标文件的去重查询请求的数量到达预设阈值时，确定所述指向同一目标文件的多个目标索引值；确定每个所述目标索引值对应的附加块的数量，并将包含相同附加块数量的所有目标索引值生成一个索引值集合，以生成与所述目标索引值对应的至少一个索引值集合；将包含相同附加块的所述索引值集合中的目标索引值生成一个相同附加块去重索引值集合，以生成与所述索引值集合中的目标索引值对应的至少一个相同附加块去重索引值集合；根据预设的第一敏感块位置判断策略，确定所述相同附加块去重索引值集合中每个目标索引值对应的敏感块位置；以及根据所述敏感块位置提取所述相同附加块去重索引值集合中目标索引值的敏感块，并根据所述相同附加块去重索引值集合中目标索引值的附加块，公共块和敏感块的异或值生成去重响应。2.根据权利要求1所述的基于请求合并的云数据去重方法，其特征在于，还包括：将包含不同附加块的所述索引值集合中的目标索引值生成一个不同附加块去重索引值集合；根据预设的第二敏感块位置判断策略，确定所述不同附加块去重索引值集合中每个目标索引值对应的敏感块位置；根据所述敏感块位置获取所述不同附加块去重索引值集合中目标索引值的敏感块，并根据所述不同附加块去重索引值集合中目标索引值的附加块，公共块和敏感块的异或值生成去重响应。3.根据权利要求1所述的基于请求合并的云数据去重方法，其特征在于，所述根据所述公共块确定对应的目标文件，具体包括：获取目标文件与目标文件索引值之间的对应关系表，其中，所述目标文件索引值划分为多个目标文件索引块；根据所述公共块查询所述目标文件与目标文件索引值之间的对应关系表，以确定与所述公共块对应的目标文件。4.根据权利要求3所述的基于请求合并的云数据去重方法，其特征在于，所述确定每个所述目标索引值对应的附加块的数量，具体包括：确定所述目标索引值的多个索引块与所述目标文件索引值的多个目标文件索引块之间的重复块；计算所述目标索引值的重复块的异或值，并获取所述目标文件索引值的多个目标文件索引块的全局异或值；将所述异或值与所述全局异或值进行对比，如果所述异或值等于所述全局异或值，则所述目标索引值对应的附加块的数量为所述目标索引值的多个索引块中去除重复块剩余2CN114003560A权利要求书2/2页索引块的数量；如果所述异或值不等于所述全局异或值，则所述目标索引值对应的附加块的数量为所述目标索引值的多个索引块中去除重复块剩余索引块的数量减1。5.一种基于请求合并的云数据去重装置，其特征在于，包括：接收模块，用于接收用户发送的去重查询请求，其中，所述去重查询请求包括目标文件的索引值；划分模块，用于将所述索引值划分成多个索引块，其中，所述多个索引块包括公共块、敏感块和附加块；第一确定模块，用于根据所述公共块确定对应的目标文件；第二确定模块，用于当预设时间内指向同一目标文件的去重查询请求的数量到达预设