一种数据去重方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113885785A(43)申请公布日2022.01.04(21)申请号202110661793.1(22)申请日2021.06.15(71)申请人荣耀终端有限公司地址518040广东省深圳市福田区香蜜湖街道东海社区红荔西路8089号深业中城6号楼A单元3401(72)发明人何云蕾(74)专利代理机构广州三环专利商标代理有限公司44202代理人熊永强(51)Int.Cl.G06F3/06(2006.01)权利要求书4页说明书51页附图20页(54)发明名称一种数据去重方法及装置(57)摘要本申请公开一种数据去重方法及装置，该数据去重方法包括：获取待存储到目标存储空间中的第一数据；确定该第一数据与目标特征值是否相同，该目标特征值为标号对应关系中记录的一个或多个特征值中的任意一个特征值；该一个或多个特征值已存储到数据块中；标号对应关系中包括特征值与特征标号之间的关联关系；在确定第一数据与目标特征值相同的情况下，不将该第一数据存储到目标存储空间的数据块中，在第一地址项中记录目标特征标号；该目标特征标号为标号对应关系中与目标特征值对应的特征标号；第一地址项中包括第一标记位，第一标记位取值为第一数值，第一数值用于指示第一数据为特征值，用于在提升存储空间利用率的同时减少性能损耗。CN113885785ACN113885785A权利要求书1/4页1.一种数据去重方法，其特征在于，包括：获取待存储到目标存储空间中的第一数据；确定所述第一数据与目标特征值是否相同，所述目标特征值为标号对应关系中记录的一个或多个特征值中的任意一个特征值；所述一个或多个特征值已存储到数据块中；所述标号对应关系中包括特征值与特征标号之间的关联关系；在确定所述第一数据与所述目标特征值相同的情况下，不将所述第一数据存储到所述目标存储空间的数据块中，在第一地址项中记录目标特征标号；所述第一地址项为用于记录存储所述第一数据的数据块的地址信息的地址项；所述目标特征标号为所述标号对应关系中与所述目标特征值对应的特征标号；所述第一地址项中包括第一标记位，所述第一标记位取值为第一数值，所述第一数值用于指示所述第一数据为特征值。2.如权利要求1所述的方法，其特征在于，所述第一地址项包括W位二进制位，所述W为正整数；所述第一标记位为所述W位二进制位中最高的一位二进制位；所述在第一地址项中记录目标特征标号包括：在所述第一地址项中除所述第一标记位外的其他W‑1位二进制位中记录所述目标特征标号；所述目标特征标号指示所述W‑1位二进制位中的全部或部分二进制位的取值；更新所述第一标记位为所述第一数值。3.如权利要求1所述的方法，其特征在于，所述第一地址项包括W位二进制位，所述W为正整数；所述第一标记位为所述W位二进制位中的高P位二进制位，所述P为小于所述W的正整数；所述在第一地址项中记录目标特征标号包括：在所述第一标记位中记录所述目标特征标号，将所述目标特征标号作为所述第一数值；所述目标特征标号指示所述第一标记位中的全部或部分二进制位的取值。4.如权利要求1‑3任一项所述的方法，其特征在于，所述方法还包括：在确定所述第一数据不为所述目标特征值的情况下，确定所述第一数据的数据内容与第二数据块的数据内容是否相同，所述第二数据块为所述目标存储空间中存储的M个数据块中的任意一个数据块，所述M为正整数；在确定所述第一数据的数据内容与所述第二数据块的数据内容相同的情况下，将所述第一标记位更新为第二数值；所述第二数值用于指示所述第一数据不是特征值；并将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到所述第一地址项中除所述第一标记位外的其他二进制位中。5.如权利要求4所述的方法，其特征在于，所述确定所述第一数据的数据内容与第二数据块的数据内容是否相同包括：计算所述第一数据的数据内容的总和校验码；在确定所述第一数据的数据内容的总和校验码与所述M个数据块的数据内容的总和校验码都不相同的情况下，确定所述第一数据的数据内容与所述第二数据块的数据内容不相同，并为所述第一数据分配第一数据块，将所述第一数据存储到所述第一数据块中；所述在确定所述第一数据的数据内容与所述第二数据块的数据内容相同的情况下，将所述第一标记位更新为第二数值；所述第二数值用于指示所述第一数据不是特征值；并将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到所述第一2CN113885785A权利要求书2/4页地址项中除所述第一标记位外的其他二进制位中，包括：在确定所述第一数据的数据内容的总和校验码与所述第二数据块的数据内容的总和校验码相同的情况下，确定所述第一数据的数据内容与所述第二数据块的数据内容是否相同；在确定所述第一数据的数据内容与所述