一种数据去重方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113721836A(43)申请公布日2021.11.30(21)申请号202110661794.6(22)申请日2021.06.15(71)申请人荣耀终端有限公司地址518040广东省深圳市福田区香蜜湖街道东海社区红荔西路8089号深业中城6号楼A单元3401(72)发明人周文(74)专利代理机构广州三环专利商标代理有限公司44202代理人熊永强(51)Int.Cl.G06F3/06(2006.01)权利要求书4页说明书34页附图18页(54)发明名称一种数据去重方法及装置(57)摘要本申请公开一种数据去重方法及装置，该数据去重方法包括：获取待存储到目标存储空间中的第一数据，目标存储空间中已存储M个数据块，M为正整数；计算第一数据的数据内容的总和校验码；在确定第一数据的数据内容的总和校验码与M个数据块的数据内容的总和校验码都不相同的情况下，为第一数据分配第一数据块，将第一数据存储到第一数据块中；在确定第一数据的数据内容的总和校验码与M个数据块中的第二数据块的数据内容的总和校验码相同，且第二数据块的数据内容与第一数据的数据内容相同的情况下，将第二数据块的地址信息作为存储第一数据的数据块的地址信息记录到索引节点中。使得提升存储空间利用率的同时减少性能损耗。CN113721836ACN113721836A权利要求书1/4页1.一种数据去重方法，其特征在于，包括：获取待存储到目标存储空间中的第一数据，所述目标存储空间中已存储M个数据块，所述M为正整数；计算所述第一数据的数据内容的总和校验码；在确定所述第一数据的数据内容的总和校验码与所述M个数据块的数据内容的总和校验码都不相同的情况下，为所述第一数据分配第一数据块，将所述第一数据存储到所述第一数据块中；在确定所述第一数据的数据内容的总和校验码与所述M个数据块中的第二数据块的数据内容的总和校验码相同，且所述第二数据块的数据内容与所述第一数据的数据内容相同的情况下，将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到索引节点中，所述索引节点用于记录数据与存储数据的数据块的地址信息的关联关系。2.如权利要求1所述的方法，其特征在于，所述在确定所述第一数据的数据内容的总和校验码与所述M个数据块中的第二数据块的数据内容的总和校验码相同，且所述第二数据块的数据内容与所述第一数据的数据内容相同的情况下，将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到索引节点中，包括：在确定所述第一数据的数据内容的总和校验码与所述M个数据块中的第二数据块的数据内容的总和校验码相同，且所述第二数据块的数据内容与所述第一数据的数据内容相同，以及所述第二数据块的第一被引用次数小于第一阈值的情况下，将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到索引节点中，并将所述第一被引用次数加1；所述第一被引用次数为重复计数表中记录的所述第二数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的次数的关联关系。3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：在确定所述M个数据块中的N个第二数据块的数据内容的总和校验码与所述第一数据的数据内容的总和校验码相同，且所述N个第二数据块的第一被引用次数都大于或等于第一阈值的情况下，为所述第一数据分配第一数据块，并将所述第一数据存储到所述第一数据块中；所述N为小于或等于M的整数，所述第一被引用次数为重复计数表中记录的所述第二数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的次数的关联关系。4.如权利要求1‑3任一项所述的方法，其特征在于，在所述获取待存储到目标存储空间中的第一数据之前，所述方法还包括：在接收到将第三数据修改为第四数据的指令后，获取与所述第三数据对应的第三数据块的第二被引用次数；所述第二被引用次数为重复计数表中记录的所述第三数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的次数的关联关系；在确定所述第二被引用次数等于1的情况下，将所述第四数据作为所述第一数据，并删除与所述第三数据相关的信息；在确定所述第二被引用次数大于1的情况下，将所述第四数据作为所述第一数据，并将所述重复计数表中的所述第二被引用次数减1。2CN113721836A权利要求书2/4页5.如权利要求1‑4任一项所述的方法，其特征在于，所述方法还包括：在接收到删除第五数据的指令后，获取所述第五数据对应的第五数据块的第三被引用次数；所述第三被引用次数为重复计数表中记录的所述第五数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的